Boucle de répétition (malédiction de la répétition)
Comprendre
Sur certains motifs, le modèle entre en boucle de répétition (dégénérescence du décodage).
Sous décodage privilégiant la vraisemblance, la répétition s'auto-renforce : le modèle reste enfermé dans la même séquence et la sortie n'avance plus.
Tester
répétition incontrôlée d'un même motif ou d'une même phrase ; sortie qui n'apporte plus rien de nouveau ; boucle déclenchée par la relance.
Sur les générations longues, bornez la longueur, dédupliquez en sortie, et si votre interface le permet, ajustez les paramètres de décodage (température, pénalité de répétition). La boucle est un phénomène de décodage, pas un manque d'idées.
Génération de check-lists, de points de contrôle, de cas de test en série : au-delà d'une certaine longueur, la qualité s'effondre en répétitions — segmentez et vérifiez la distinction réelle des éléments. À ne pas confondre avec B78 : cette fiche décrit une répétition de surface, au décodage ; elle se corrige au décodage (température, pénalité de répétition). La boucle agentique non bornée (B78) est un tout autre mécanisme.
Prévenir
- › ajoutez des pénalités de répétition et des conditions d'arrêt.
- › limitez la longueur de sortie.
Référence
Preuve A (évaluée par les pairs) — The Curious Case of Neural Text Degeneration (Holtzman et al., ICLR 2020) arxiv.org/abs/1904.09751
Ce qu'elle établit — sur certains motifs, le modèle entre en boucle de répétition (dégénérescence du décodage) — c'est le phénomène mesuré par la source ci-dessus.