Foundation Models
Intelligence artificielle · Bac +5 · 15 semaines
Les grands modèles de A à Z : Transformer, tokenisation, pré-entraînement et lois d'échelle, entraînement distribué, inférence, fine-tuning, LoRA, RLHF, DPO et RAG.
Sommaire
- Foundation Models
- Le modèle
- Définition et carte du domaine
- Prérequis, carte du cours et définition d'un foundation model
- Architecture GPT complète, paramètres et FLOPs
- Architecture GPT complète, comptage des paramètres et des FLOPs
- Pré-entraînement
- Objectif et données de pré-entraînement
- Le pré-entraînement des grands modèles de langage
- L'objectif de pretraining : prédire le token suivant
- Les données : sources, filtrage, déduplication, mélange
- Tokenisation, embeddings, modèles de langage, pré-entraînement, lois d'échelle, décodage
- COURS
- SCHÉMA DU COURS
- SCHÉMA ORIGINAL
- EXEMPLE DU COURS
- EXEMPLE INVENTÉ
- TP / RECHERCHE
- Lots, empaquetage, accumulation
- Lots, empaquetage des séquences et accumulation de gradient
- Lois d'échelle et budget de calcul
- Les lois d'échelle et le budget de calcul
- Lois d'échelle : Kaplan, Chinchilla et l'allocation du calcul
- Systèmes : mémoire, parallélisme, précision
- Entraîner et servir à grande échelle
- Mémoire et parallélisme : données, ZeRO/FSDP, tenseurs, pipeline
- Précision numérique, précision mixte et débit (FLOPs, MFU)
- Passage à l'échelle : matériel, entraînement distribué, mémoire, quantification, élagage, mélange d'experts
- COURS
- SCHÉMA DU COURS
- SCHÉMA ORIGINAL
- EXEMPLE DU COURS
- EXEMPLE INVENTÉ
- TP / RECHERCHE
- Stabilité de l'entraînement
- Stabilité de l'entraînement : pics de perte, clipping, z-loss, QK-norm, μP
- Évaluer un modèle de base
- Évaluer un modèle de base : perplexité, benchmarks, apprentissage en contexte
- Inférence
- Stratégies de décodage
- Générer du texte : stratégies de décodage et cache KV
- Stratégies de décodage : glouton, beam search, température, top-k, top-p
- Inférence efficace : cache KV, FlashAttention
- Inférence efficace : cache KV, FlashAttention, décodage spéculatif
- Quantification
- Quantification : compresser les poids pour l'inférence
- Mixture of Experts
- Mixture of Experts (MoE) : des experts parcimonieux
- Adapter et aligner
- Fine-tuning supervisé (SFT)
- Adapter un modèle : fine-tuning, instructions, LoRA et distillation
- Fine-tuning supervisé (SFT) et instruction tuning
- LoRA et PEFT
- LoRA et fine-tuning efficace en paramètres (PEFT)
- RLHF
- L'alignement : RLHF et DPO
- Apprentissage par renforcement à partir de préférences humaines (RLHF)
- DPO et vue d'ensemble de l'alignement
- DPO : optimisation directe des préférences
- Adapter et aligner : fine-tuning, LoRA, instruction tuning, RLHF, DPO, RAG, évaluation
- COURS
- SCHÉMA DU COURS
- SCHÉMA ORIGINAL
- EXEMPLE DU COURS
- EXEMPLE INVENTÉ
- TP / RECHERCHE
- Utiliser un modèle : prompting, RAG, agents
- Utiliser un modèle de fondation : contexte, RAG, outils et évaluation
- Projet
- Projet final : un mini-GPT de bout en bout
- Projet final : entraîner un mini-GPT de bout en bout
- Au-delà du Transformer classique
- Modèles de raisonnement et RL à récompenses vérifiables
- Raisonner plus longtemps : chaîne de pensée et calcul à l'inférence (test-time compute)
- RL à récompenses vérifiables (RLVR) et GRPO
- Modèles à espace d'états : S4, Mamba, hybrides
- Modèles à espace d'états (state space models) : de S4 à Mamba
- Long contexte
- Long contexte (long context) : étendre RoPE, tenir en mémoire, évaluer
- Pratique GPU
- Le GPU vu de près : modèle d'exécution, roofline, profilage
- Écrire des noyaux : Triton et torch.compile
- Concordance avec les anciens cours