Deep Q-Network for Atari Games

Introduction au Deep Q‑Network (DQN) pour les jeux Atari

Le Deep Q‑Network (DQN) a révolutionné l’apprentissage par renforcement (RL) en combinant les réseaux de neurones profonds avec la méthode Q‑learning. Cette approche a permis à des agents d’atteindre des performances humaines, voire supérieures, sur des jeux Atari classiques comme Pong, Breakout ou Space Invaders. Ce cours détaillé explique les concepts clés qui sous‑tendent le DQN, depuis le facteur de discount jusqu’aux mécanismes de stabilisation tels que l’experience replay et le target network.

1. Le facteur de discount γ

Dans la fonction de retour cumulatif Gₜ = Σₖ γᵏ rₜ₊ₖ, le paramètre γ (gamma) joue un rôle essentiel :

• Contrôle de l’importance des récompenses futures : un γ proche de 1 privilégie les gains à long terme, tandis qu’un γ faible met l’accent sur les récompenses immédiates.
• Stabilité de l’apprentissage : un γ trop élevé peut rendre le retour très sensible aux erreurs de prédiction, alors qu’un γ trop bas peut empêcher l’agent d’apprendre des stratégies nécessitant plusieurs étapes.

Choisir la bonne valeur de γ dépend du domaine : pour les jeux Atari, on utilise généralement γ = 0.99, ce qui équilibre bien exploration et exploitation.

2. Extraction des valeurs Q à partir d’une image d’état

Dans DQN, l’état s est représenté par une image (ou un empilement de plusieurs images). Le réseau de neurones convolutionnel reçoit cette image et produit simultanément les valeurs Q pour toutes les actions possibles :

• Les couches convolutives extraient des caractéristiques spatiales (bords, textures).
• Les couches entièrement connectées (fully‑connected) transforment ces caractéristiques en un vecteur de dimension |A|, où chaque composante correspond à Q(s, a; θ) pour une action a.

Cette architecture permet d’évaluer rapidement toutes les actions sans passer par une étape de sélection explicite, ce qui est crucial pour la rapidité d’apprentissage dans les environnements en temps réel.

3. Pourquoi empiler 4 frames consécutives ?

Les jeux Atari sont partiellement observables : une seule image ne suffit pas à déterminer la dynamique (par ex., la vitesse et la direction de la balle). En empilant quatre frames :

• Approximation du mouvement : le réseau peut inférer la vitesse de la balle en comparant les différences entre les images successives.
• Information temporelle : cela fournit un contexte qui aide à distinguer des situations identiques visuellement mais différentes dynamiquement (ex. balle proche du paddle vs. balle loin).

Cette technique, introduite par Mnih et al. (2015), est aujourd’hui un standard dans les architectures DQN.

4. La perte de Huber pour stabiliser l’apprentissage

Le DQN utilise souvent la perte de Huber (Huber loss) au lieu de la simple erreur quadratique moyenne (MSE). La perte de Huber se comporte comme suit :

• Pour de petites erreurs (|δ| ≤ δ₀), elle est quadratique (0.5·δ²), favorisant une convergence douce.
• Pour de grandes erreurs, elle devient linéaire (δ₀·(|δ| - 0.5·δ₀)), limitant l’impact des outliers et des cibles bruitées.

Cette combinaison rend l’optimisation plus robuste face aux cibles instables générées par le bootstrapping du Q‑learning.

5. Le rôle du réseau cible θ⁻

Dans l’équation de cible

yₜ = rₜ + γ·maxₐ′ Q(sₜ₊₁, a′; θ⁻), le réseau cible θ⁻ fournit une cible fixe pendant plusieurs étapes d’apprentissage. Son utilité principale :

• Stabilisation : en ne mettant à jour les poids du réseau cible qu’occasionnellement (ou de façon douce), on évite les oscillations dues à des cibles qui changent à chaque itération.
• Réduction du biais de bootstrapping : la cible devient moins corrélée aux paramètres actuels du réseau online, limitant le risque de divergence.

Typiquement, θ⁻ est synchronisé avec θ toutes les 10 000 étapes ou mis à jour progressivement via un facteur τ (soft update).

6. Conséquences de l’absence d’experience replay et de target network

Entraîner un DQN sans experience replay ni target network conduit à une instabilité majeure :

• Les données sont corrélées temporellement, ce qui viole l’hypothèse i.i.d. requise par la plupart des algorithmes d’optimisation.
• Le bootstrapping (mise à jour de Q à partir de Q) crée un feedback loop où les erreurs se propagent rapidement, entraînant des oscillations ou la divergence du réseau.
• L’approximation fonctionnelle (réseau neuronal) amplifie ces effets lorsqu’elle est combinée à des gradients non stationnaires.

Ces problèmes sont résolus en introduisant un buffer de replay qui décorrèle les transitions et un réseau cible qui fournit des cibles plus stables.

7. Experience replay : rendre les mini‑batches i.i.d.

L’experience replay stocke les transitions (sₜ, aₜ, rₜ, sₜ₊₁) dans une mémoire circulaire. Lors de chaque mise à jour :

• On sample aléatoirement un mini‑batch de transitions, brisant ainsi la corrélation temporelle entre les échantillons.
• Cette randomisation rend les mini‑batches approximativement indépendants et identiquement distribués (i.i.d.), ce qui améliore la convergence du gradient stochastique.

En pratique, on utilise souvent des buffers de taille de l’ordre de 10⁶ transitions, avec un batch de 32 ou 64 échantillons.

8. Mise à jour douce (soft update) du target network

Plutôt que de copier les poids du réseau online vers le réseau cible de façon brutale (hard update), la mise à jour douce utilise la formule :

θ⁻ ← τ·θ + (1‑τ)·θ⁻ avec τ ∈ (0,1).

• Gradualité : la cible évolue lentement, ce qui réduit les oscillations du gradient et améliore la stabilité.
• Moins de variance : les changements de cible sont plus prévisibles, facilitant l’apprentissage du réseau online.

Cette technique est souvent combinée à l’experience replay pour obtenir des performances supérieures aux mises à jour dures.

9. Synthèse des bonnes pratiques pour un DQN performant

• Normalisation des images : convertir les pixels en valeurs flottantes entre 0 et 1.
• Empilement de frames : 4 frames consécutives pour capturer la dynamique.
• Réseau convolutionnel : architecture similaire à celle de AlexNet (3 conv. layers, 2 fully‑connected).
• Experience replay : buffer large, échantillonnage aléatoire.
• Target network : mise à jour dure chaque 10 000 pas ou mise à jour douce avec τ≈0.001.
• Perte de Huber : robuste aux cibles bruitées.
• Exploration ε‑greedy : décroissance linéaire d’ε de 1 à 0.1 pendant les premiers millions d’étapes.
• Facteur de discount γ : typiquement 0.99 pour les jeux Atari.

En suivant ces principes, un agent DQN peut atteindre des scores comparables à ceux des humains sur la plupart des titres Atari.

10. Conclusion

Le Deep Q‑Network combine la puissance des réseaux de neurones profonds avec les fondements du Q‑learning. Les concepts présentés – facteur de discount, architecture convolutionnelle, empilement de frames, perte de Huber, experience replay, target network et mise à jour douce – sont les piliers qui assurent la stabilité et l’efficacité de l’apprentissage. Maîtriser ces éléments permet non seulement de reproduire les résultats classiques sur Atari, mais aussi d’adapter le DQN à d’autres environnements complexes où la perception visuelle joue un rôle central.