Deep Learning

Sommaire

• Deep Learning
• Le paysage
• Qu'est-ce que le deep learning ?
• Qu'est-ce que le deep learning ?
• Bases du machine learning
• Cadre supervisé et données
• Données, découpage et normalisation
• Le cadre supervisé : risque, minimisation du risque empirique, décomposition de l'erreur, biais–variance
• COURS
• SCHÉMA DU COURS
• SCHÉMA ORIGINAL
• EXEMPLE DU COURS
• EXEMPLE INVENTÉ
• TP / RECHERCHE
• Généralisation : PAC, VC, Rademacher
• Généralisation : PAC, dimension VC, complexité de Rademacher, PAC-Bayes, stabilité
• COURS
• SCHÉMA DU COURS
• SCHÉMA ORIGINAL
• EXEMPLE DU COURS
• EXEMPLE INVENTÉ
• TP / RECHERCHE
• Régression linéaire, ridge, lasso
• La régression linéaire
• Régression linéaire, moindres carrés, ridge, lasso, features non linéaires
• COURS
• SCHÉMA DU COURS
• SCHÉMA ORIGINAL
• EXEMPLE DU COURS
• EXEMPLE INVENTÉ
• TP / RECHERCHE
• Classification : logistique, softmax, métriques
• La régression logistique (classification binaire)
• Softmax et classification multi-classes
• Le neurone et la régression logistique
• Classification : régression logistique, softmax, pertes de substitution, calibration, métriques
• COURS
• SCHÉMA DU COURS
• SCHÉMA ORIGINAL
• EXEMPLE DU COURS
• EXEMPLE INVENTÉ
• TP / RECHERCHE
• Biais, variance, sur-apprentissage
• Biais, variance, sous- et sur-apprentissage
• SVM et méthodes à noyaux
• Machines à vecteurs de support et méthodes à noyaux (RKHS)
• COURS
• SCHÉMA DU COURS
• SCHÉMA ORIGINAL
• EXEMPLE DU COURS
• EXEMPLE INVENTÉ
• TP / RECHERCHE
• Arbres, forêts, boosting
• Arbres de décision, bagging, forêts aléatoires, boosting
• COURS
• SCHÉMA DU COURS
• SCHÉMA ORIGINAL
• EXEMPLE DU COURS
• EXEMPLE INVENTÉ
• TP / RECHERCHE
• Réseaux de neurones
• Le neurone et le perceptron
• Le neurone artificiel et le perceptron
• Activations et perceptron multicouche
• Les fonctions d'activation
• Le perceptron multicouche et la propagation avant
• Perceptron multicouche (MLP) et fonctions d'activation
• Du perceptron au réseau multicouche : activations, expressivité, approximation universelle, profondeur
• COURS
• SCHÉMA DU COURS
• SCHÉMA ORIGINAL
• EXEMPLE DU COURS
• EXEMPLE INVENTÉ
• TP / RECHERCHE
• Rétropropagation et autograd
• La rétropropagation du gradient
• La différentiation automatique (autograd)
• Rétropropagation et différentiation automatique
• Rétropropagation et différentiation automatique (modes direct et inverse)
• COURS
• SCHÉMA DU COURS
• SCHÉMA ORIGINAL
• EXEMPLE DU COURS
• EXEMPLE INVENTÉ
• TP / RECHERCHE
• Entraîner un réseau profond
• SGD, mini-batchs, époques
• Descente stochastique, mini-batchs et époques
• Optimiseurs : momentum, Adam, AdamW
• Les optimiseurs : momentum, RMSProp, Adam, AdamW
• Optimiseurs : momentum, RMSProp, Adam, AdamW
• Planification du taux d'apprentissage
• Planifier le taux d'apprentissage : warm-up et décroissance
• Planification du taux d'apprentissage : warmup, cosinus, WSD
• Initialisation et gradients instables
• Initialisation des poids, gradients qui disparaissent ou explosent
• Initialisation des poids et propagation de la variance
• Normalisation : BatchNorm, LayerNorm, RMSNorm
• La normalisation : BatchNorm, LayerNorm, RMSNorm
• Normalisation : BatchNorm, LayerNorm, RMSNorm
• Régularisation
• La régularisation
• Généralisation, sur-apprentissage et régularisation
• Connexions résiduelles, entraîner très profond
• Connexions résiduelles et flux résiduel
• Entraîner un réseau profond : initialisation, normalisation, régularisation, connexions résiduelles, précision numérique
• COURS
• SCHÉMA DU COURS
• SCHÉMA ORIGINAL
• EXEMPLE DU COURS
• EXEMPLE INVENTÉ
• TP / RECHERCHE
• PyTorch en pratique
• PyTorch en pratique : la boucle d'entraînement complète
• Attention et Transformer
• L'attention par produit scalaire
• Le mécanisme d'attention
• L'attention par produit scalaire (scaled dot-product attention)
• Masque causal et attention multi-têtes
• Attention multi-têtes et masque causal
• Le masque causal
• Attention multi-têtes
• Encodages positionnels et RoPE
• Encodages positionnels : absolus, sinusoïdaux, RoPE
• Encodage des positions : sinusoïdal, appris, RoPE, ALiBi
• Le Transformer complet
• Le Transformer complet
• Le bloc Transformer
• Attention et Transformers : auto-attention, têtes multiples, encodage positionnel, complexité
• COURS
• SCHÉMA DU COURS
• SCHÉMA ORIGINAL
• EXEMPLE DU COURS
• EXEMPLE INVENTÉ
• TP / RECHERCHE
• Modèles génératifs profonds
• Autoencodeurs et VAE
• Autoencodeurs et autoencodeurs variationnels (VAE)
• Auto-encodeurs et auto-encodeurs variationnels (VAE)
• COURS
• SCHÉMA DU COURS
• SCHÉMA ORIGINAL
• EXEMPLE DU COURS
• EXEMPLE INVENTÉ
• TP / RECHERCHE
• Réseaux antagonistes (GAN)
• Les réseaux antagonistes génératifs (GAN)
• Réseaux antagonistes génératifs (GAN) : jeu minimax, divergences, instabilités, Wasserstein
• COURS
• SCHÉMA DU COURS
• SCHÉMA ORIGINAL
• EXEMPLE DU COURS
• EXEMPLE INVENTÉ
• TP / RECHERCHE
• Flows normalisants et modèles à énergie
• Flows normalisants, modèles autorégressifs de densité et modèles à énergie
• COURS
• SCHÉMA DU COURS
• SCHÉMA ORIGINAL
• EXEMPLE DU COURS
• EXEMPLE INVENTÉ
• TP / RECHERCHE
• Modèles de diffusion
• Les modèles de diffusion
• Modèles de diffusion : DDPM, score matching, EDS, guidage, flow matching
• COURS
• SCHÉMA DU COURS
• SCHÉMA ORIGINAL
• EXEMPLE DU COURS
• EXEMPLE INVENTÉ
• TP / RECHERCHE
• Graphes et renforcement
• Réseaux de neurones sur graphes
• Réseaux de neurones sur graphes (GNN) : passage de messages, convolution spectrale, expressivité
• COURS
• SCHÉMA DU COURS
• SCHÉMA ORIGINAL
• EXEMPLE DU COURS
• EXEMPLE INVENTÉ
• TP / RECHERCHE
• Bandits, MDP, programmation dynamique
• Bandits, processus de décision markoviens, équations de Bellman, programmation dynamique
• COURS
• SCHÉMA DU COURS
• SCHÉMA ORIGINAL
• EXEMPLE DU COURS
• EXEMPLE INVENTÉ
• TP / RECHERCHE
• Différence temporelle et Q-learning
• Méthodes par valeur sans modèle : Monte-Carlo, TD, SARSA, Q-learning, DQN
• COURS
• SCHÉMA DU COURS
• SCHÉMA ORIGINAL
• EXEMPLE DU COURS
• EXEMPLE INVENTÉ
• TP / RECHERCHE
• Gradient de politique, acteur-critique, PPO
• Gradient de politique, REINFORCE, acteur-critique, GAE, TRPO, PPO
• COURS
• SCHÉMA DU COURS
• SCHÉMA ORIGINAL
• EXEMPLE DU COURS
• EXEMPLE INVENTÉ
• TP / RECHERCHE
• Concordance avec les anciens cours