Multimodal
Intelligence artificielle · Bac +5 · 8 semaines
Fondations du multimodal, modèles qui comprennent image et texte, puis modèles qui génèrent et unifient plusieurs modalités.
Sommaire
- Multimodal
- Fondations
- Fusionner des modalités
- Fusionner des modalités : précoce, tardive, croisée
- ViT et CLIP
- Multimodalité : Vision Transformer et CLIP
- CLIP en profondeur : perte contrastive, zéro-shot et limites
- Comprendre plusieurs modalités
- Modèles vision-langage (VLM)
- Modèles vision-langage : Flamingo, BLIP-2, LLaVA
- Audio et parole
- Audio et parole : spectrogrammes, CTC, Whisper, jetons audio
- Générer et unifier
- Génération texte → image
- Génération texte → image : diffusion latente, guidage, DiT
- Vidéo
- Vidéo : jetons spatio-temporels, compréhension et génération
- Modèles unifiés et évaluation multimodale
- Modèles unifiés et évaluation multimodale
- Concordance avec les anciens cours