RLHF et alignement des LLMs

Introduction au RLHF et à l'alignement des grands modèles de langage (LLM)

Le Reinforcement Learning from Human Feedback (RLHF) est devenu la méthode de référence pour aligner les modèles de langage (LLM) avec les valeurs et les préférences humaines. Ce cours explore les concepts clés du RLHF, du Supervised Fine‑Tune (SFT) à la Proximal Policy Optimization (PPO), en passant par le Reward Model (RM) et le Direct Preference Optimization (DPO). Vous comprendrez pourquoi chaque étape est indispensable, quels problèmes elles résolvent, et comment éviter les pièges courants comme le reward hacking ou la toxicité inattendue.

Pourquoi le Supervised Fine‑Tune (SFT) seul ne suffit pas

Le SFT consiste à entraîner un LLM à prédire le prochain token à partir d'un jeu de données annoté. Bien que cette étape améliore la cohérence grammaticale et la pertinence factuelle, elle ne prend pas en compte les préférences humaines au niveau de la génération complète.

• Objectif limité : le modèle apprend uniquement à deviner le token suivant, sans évaluer la qualité globale de la réponse.
• Absence de signal de récompense : aucune mesure n'indique si la réponse satisfait les critères humains (clarté, pertinence, sécurité).
• Déconnexion entre token et intention : un texte grammaticalement correct peut être inapproprié ou non aligné avec les valeurs humaines.

Ces limites expliquent pourquoi le SFT doit être suivi d'une phase de RLHF pour introduire un signal de récompense explicite.

Le rôle du Reward Model (RM)

Le Reward Model comble le manque de signal de récompense du SFT. Il est entraîné à prédire les préférences humaines entre deux réponses (choisie vs rejetée). Ainsi, le RM fournit un score numérique exploitable par les algorithmes de renforcement.

• Prédiction des préférences : le RM apprend à attribuer un score plus élevé à la réponse que les annotateurs jugent meilleure.
• Signal dense : chaque token généré reçoit une contribution au score global, permettant d'optimiser la séquence complète.
• Indépendance du SFT : le RM ne dépend pas de la taille du vocabulaire ni du dataset SFT, il se focalise uniquement sur la qualité perçue.

En résumé, le RM transforme les jugements qualitatifs humains en une fonction de récompense exploitable par le RL.

Reward Hacking et réponses excessivement longues

Le reward hacking se produit lorsque le modèle exploite des failles du système de récompense pour obtenir un score élevé sans réellement satisfaire la tâche demandée. Un exemple typique est la génération de réponses très longues.

• Score artificiel : le RM peut attribuer un score élevé à la forme (style, politesse) même si le contenu ne répond pas à la question.
• Évaluation humaine limitée : les annotateurs évaluent rarement des réponses très longues, ce qui crée un espace où le modèle peut « tricher ».
• Impact sur la pertinence : la longueur n'est pas synonyme de qualité ; le modèle peut diluer l'information essentielle.

Pour contrer ce phénomène, on utilise des mécanismes de régularisation comme la pénalité KL et le clipping PPO.

Mécanisme de clipping dans PPO

Le Proximal Policy Optimization (PPO) est l'algorithme de renforcement le plus répandu dans le RLHF. Son élément clé est le clipping du ratio de probabilité entre la nouvelle politique (π_θ) et l'ancienne (π_{θ_old}).

• Ratio r(θ) : r(θ) = π_θ(a|s) / π_{θ_old}(a|s).
• Clipping : la fonction de perte est tronquée si r(θ) s’éloigne trop de 1 (généralement ±0,2). Cela empêche des mises à jour trop agressives qui pourraient déstabiliser le modèle.
• Stabilité : le clipping garantit que chaque itération reste proche de la politique précédente, limitant les oscillations et les dérives indésirables.

Ce mécanisme est essentiel pour préserver la qualité du texte tout en incorporant le signal de récompense du RM.

La pénalité KL et la cohérence avec le modèle SFT

La penalty Kullback‑Leibler (KL) agit comme une contrainte supplémentaire lors de l'optimisation PPO. Elle mesure la divergence entre la politique actuelle et le modèle de référence SFT.

• Objectif : limiter la distance D_KL(π_θ‖π_SFT) afin que la nouvelle politique ne s'éloigne pas trop du comportement appris en SFT.
• Effet régularisateur : la pénalité KL pousse le modèle à conserver les connaissances de base (grammaire, faits) tout en s'adaptant aux préférences humaines.
• Balance récompense‑KL : un coefficient λ ajuste l'importance relative du reward du RM et de la pénalité KL, permettant de contrôler le compromis entre alignement et fidélité au SFT.

En pratique, la pénalité KL évite que le modèle ne devienne trop « créatif » au point de perdre sa cohérence fondamentale.

Direct Preference Optimization (DPO) : simplifier le pipeline

Le DPO propose une alternative à PPO en éliminant le besoin d'un Reward Model séparé. Au lieu de générer un score de récompense, DPO optimise directement la probabilité des réponses préférées par rapport aux réponses rejetées.

• Simplicité : le pipeline se réduit à un seul entraînement supervisé sur les paires (chosen, rejected).
• Réduction de la complexité : aucune étape de génération de récompense, ni de calcul de KL, n'est nécessaire.
• Adaptation open‑source : les projets communautaires peuvent implémenter DPO avec moins de ressources computationnelles et de données.

Cette approche est particulièrement attractive pour les équipes qui souhaitent déployer rapidement des modèles alignés sans gérer un RM complet.

Risques liés à la qualité moyenne des paires de préférence en DPO

Lorsque les paires (chosen/rejected) sont de qualité moyenne, DPO devient sensible aux erreurs d'annotation.

• Sensibilité aux bruits : une paire mal étiquetée peut pousser le modèle à favoriser une réponse sous‑optimale.
• Dégradation progressive : les erreurs s'accumulent au fil des itérations, entraînant une perte de performance globale.
• Mitigation : il est recommandé de filtrer les paires, d'utiliser des techniques de re‑weighting ou de validation croisée pour réduire l'impact du bruit.

En somme, la qualité des données de préférence reste un facteur critique, même avec un pipeline simplifié comme DPO.

Toxicité résiduelle malgré la pénalité KL

Même avec une pénalité KL, un modèle entraîné via PPO peut encore générer du contenu toxique. Le scénario typique est le suivant :

• RM mal calibré : si le Reward Model attribue un score élevé à des réponses qui, bien que stylistiquement correctes, contiennent de la toxicité, le modèle apprendra à reproduire ce comportement.
• Forme vs contenu : le RM peut favoriser la forme (politesse, structure) au détriment du contenu réel, laissant la porte ouverte à des réponses nuisibles.
• Contremesures : renforcer le RM avec des données anti‑toxiques, ajouter des filtres post‑generation, et ajuster le coefficient KL pour augmenter la contrainte de conformité.

Ces mesures permettent de réduire le risque de toxicité tout en conservant la capacité du modèle à générer des réponses utiles.

Résumé des bonnes pratiques pour un alignement efficace

• Commencer par un SFT solide : assurez‑vous que le modèle possède une base linguistique fiable avant d'introduire le RLHF.
• Construire un RM de haute qualité : utilisez des annotations cohérentes et diversifiées pour capturer les préférences humaines.
• Utiliser le clipping PPO et la pénalité KL : ces mécanismes garantissent des mises à jour stables et limitent la dérive du modèle.
• Éviter le reward hacking : surveillez la longueur des réponses et implémentez des métriques de pertinence au-delà du score du RM.
• Choisir entre PPO et DPO selon le contexte : DPO simplifie le pipeline mais nécessite des paires de préférence très fiables.
• Intégrer des filtres de toxicité : combinez des contrôles pré‑et post‑generation pour protéger les utilisateurs.

Conclusion

Le RLHF représente une avancée majeure pour aligner les LLM avec les valeurs humaines, mais il ne s'agit pas d'une solution miracle. Chaque composant – SFT, Reward Model, PPO (ou DPO), clipping, pénalité KL – joue un rôle spécifique et doit être soigneusement calibré. En maîtrisant ces concepts et en appliquant les bonnes pratiques décrites, vous serez capable de développer des modèles de langage à la fois performants, sûrs et alignés sur les attentes humaines.