NLP
Intelligence artificielle · Bac +5 · 8 semaines
Le texte comme donnée : tokenisation, embeddings, word2vec, modèles de séquences, RNN, LSTM, seq2seq, tâches et évaluation.
Sommaire
- NLP
- Le texte comme donnée
- Du sac de mots à word2vec
- Du sac de mots à word2vec
- Tokenisation et BPE
- Tokenisation et embeddings
- Tokenisation : de l'octet au sous-mot, l'algorithme BPE
- Embeddings et désembedding
- Embeddings et désembedding (unembedding)
- Modélisation du langage
- Modélisation du langage : autorégression, n-grammes et premier modèle neuronal
- Modèles de séquences
- RNN, LSTM, GRU et seq2seq
- Les réseaux récurrents (RNN)
- LSTM, GRU et le modèle encodeur-décodeur
- Réseaux récurrents (RNN, LSTM) et leurs limites
- Réseaux récurrents, rétropropagation dans le temps, LSTM, GRU, seq2seq
- COURS
- SCHÉMA DU COURS
- SCHÉMA ORIGINAL
- EXEMPLE DU COURS
- EXEMPLE INVENTÉ
- TP / RECHERCHE
- Encodeur, décodeur, encodeur–décodeur
- Encodeur, décodeur, encodeur–décodeur : BERT, GPT, T5
- Tâches et évaluation
- Classification de texte et étiquetage de séquences
- Fine-tuner un encodeur : classification de texte et étiquetage de séquences
- Évaluer du texte généré
- Évaluer du texte généré : BLEU, ROUGE, chrF, BERTScore et LLM-juge
- Embeddings de phrases et recherche sémantique
- Embeddings de phrases, recherche sémantique et reranking
- NLP multilingue
- NLP multilingue : tokenisation, transfert cross-lingue, alignement
- Concordance avec les anciens cours