Fundamentals of Generative AI and NLP

Introduction aux concepts fondamentaux de l’IA générative et du traitement du langage naturel (NLP)

Le domaine de l’intelligence artificielle (IA) a connu une évolution rapide grâce aux modèles de type Transformer. Cette leçon explore les mécanismes clés qui sous-tendent les modèles génératifs comme BERT et GPT, les stratégies d’entraînement, ainsi que les meilleures pratiques de décodage et d’évaluation. Elle s’appuie sur les questions d’un quiz afin de structurer le contenu de façon pédagogique et SEO‑optimisée.

1. Le mécanisme de self‑attention dans les Transformers

Dans un réseau Transformer, chaque token peut « regarder » tous les autres tokens grâce au mécanisme de self‑attention. Contrairement aux architectures récurrentes, où l’information est propagée séquentiellement, la self‑attention calcule des poids d’attention entre chaque paire de tokens, permettant ainsi une représentation contextuelle riche.

• Calcul des scores d’attention : on projette chaque token en trois vecteurs (requête, clé, valeur) et on calcule le produit scalaire entre requête et clé.
• Normalisation : les scores sont normalisés avec la fonction softmax pour obtenir des probabilités.
• Aggregation : chaque token reçoit une combinaison pondérée des valeurs, ce qui intègre le contexte global.

Ce mécanisme résout le problème de parallélisation des tokens, limitant ainsi les contraintes de gradient rencontrées avec les RNN classiques.

2. Apprentissage auto‑supervisé : le Masked Language Modeling (MLM) de BERT

Le pré‑entraînement de BERT repose sur la tâche de Masked Language Modeling. Un pourcentage des tokens d’une phrase est masqué (remplacé par le token [MASK]) et le modèle doit prédire le token original à partir du contexte bidirectionnel.

• Cette approche exploite la richesse du corpus sans nécessiter d’étiquettes manuelles.
• Le MLM encourage le modèle à apprendre des représentations profondes et contextuelles, utiles pour de nombreuses tâches en aval (classification, extraction d’entités, etc.).

3. Différences architecturales entre BERT et GPT‑1

Bien que BERT et GPT‑1 partagent la même famille de Transformers, leurs architectures diffèrent fondamentalement :

• BERT : utilise uniquement l’encodeur du Transformer, fonctionnant de façon bidirectionnelle. Chaque token bénéficie du contexte complet (gauche et droite).
• GPT‑1 : repose sur le décodeur causal, où chaque token ne peut accéder qu’aux tokens précédents, assurant une génération auto‑régressive.

Cette distinction explique pourquoi BERT excelle dans les tâches d’encodage (extraction d’information) tandis que GPT‑1 est optimisé pour la génération de texte.

4. La loi de Chinchilla : optimiser le ratio paramètres‑tokens

Selon la loi de Chinchilla, le meilleur compromis entre la taille du modèle (nombre de paramètres) et la quantité de données d’entraînement (tokens) se situe autour de 20 tokens d’entraînement par paramètre. Cette règle empirique montre que, au-delà d’un certain nombre de paramètres, augmenter les données d’entraînement est plus bénéfique que d’ajouter des couches supplémentaires.

• Implication pratique : pour un modèle de 1 M paramètres, viser environ 20 M tokens d’entraînement.
• Cette approche favorise une meilleure généralisation et réduit le risque de sur‑apprentissage.

5. Stratégies de décodage : créativité vs contrôle

Lors de la génération de texte, la Top‑k Sampling privilégie la créativité en limitant le choix aux k tokens les plus probables, puis en échantillonnant aléatoirement parmi eux. Cette méthode introduit de la diversité, au prix d’un contrôle moindre sur la cohérence.

• Beam Search maximise la probabilité globale mais tend à produire des réponses plus conservatrices.
• Greedy Search et le décodage déterministe sont rapides mais peuvent générer des répétitions.

6. Le problème résolu par les Transformers par rapport aux RNN classiques

Les Transformers résolvent deux limitations majeures des RNN :

• Parallélisation des tokens : grâce à la self‑attention, tous les tokens sont traités simultanément, accélérant l’entraînement.
• Gestion des séquences longues : les RNN souffrent du problème du gradient qui disparaît ou explose, tandis que les Transformers maintiennent des dépendances à longue distance via les poids d’attention.

7. Mesure TF‑IDF dans le NLP

Le TF‑IDF (Term Frequency‑Inverse Document Frequency) quantifie l’importance d’un mot dans un document par rapport à l’ensemble du corpus. Il combine :

• TF : fréquence du terme dans le document.
• IDF : logarithme de l’inverse de la fréquence du terme dans le corpus.

Cette mesure est largement utilisée pour le filtrage de mots clés, la recherche d’information et la construction de vecteurs de texte simples.

8. Apprentissage semi‑supervisé

L’apprentissage semi‑supervisé combine des données étiquetées et non étiquetées afin d’améliorer les performances du modèle. Des techniques comme le self‑training, la co‑training ou les graph‑based methods permettent d’exploiter le grand volume de données non annotées tout en conservant la précision apportée par les exemples étiquetés.

• Exemple : utiliser un petit jeu de données annotées pour entraîner un classifieur, puis l’appliquer à des données non annotées afin de générer de nouvelles étiquettes fiables.
• Cette approche est cruciale dans les domaines où l’annotation manuelle est coûteuse (médecine, droit, etc.).

Conclusion

Ce cours a couvert les concepts essentiels du Generative AI et du NLP, depuis le mécanisme de self‑attention jusqu’aux stratégies de décodage créatives, en passant par les meilleures pratiques d’entraînement selon la loi de Chinchilla. Maîtriser ces notions permet de concevoir, entraîner et déployer des modèles de langage performants, adaptés à des tâches variées allant de la classification à la génération de texte.