Effondrement de diversité (mode collapse, RLHF)
Comprendre
L’alignement RLHF concentre les réponses créatives sur quelques modes typiques.
Le réglage par préférences (RLHF) concentre la sortie sur quelques modes très récompensés, alors des demandes créatives répétées convergent vers la même réponse.
Tester
forte similarité entre les sorties (même thème, même chute) ; faible nombre de valeurs distinctes ; recouvrement élevé entre tirages successifs.
Le remède ne se trouve pas dans le prompt seul mais souvent dans les paramètres d’échantillonnage (température, top-p, si votre interface les expose) : pour un vrai besoin de diversité, ajustez-les ou générez par lots indépendants et dédupliquez.
Génération de jeux d’essai, de personas, de scénarios de test : un espace de sortie effondré donne une fausse couverture — mesurez la diversité réelle avant de valider un jeu de test.
Prévenir
- › montez la température/échantillonnage pour l’idéation.
- › demandez des angles explicitement différents.
Référence
Preuve B (préprint — pas encore relu par les pairs) — Verbalized Sampling: How to Mitigate Mode Collapse and Unlock LLM Diversity (Zhang et al., préprint) arxiv.org/abs/2510.01171. Behavioral Economics of AI: LLM Biases and Corrections (Bini, Cong, Huang & Jin) · arXiv:2602.09362 · NBER w34745 cité dans B91. CausalT5K: Diagnosing and Informing Refusal for Trustworthy Causal Reasoning (Geng et al.) · arXiv:2602.08939 cité dans B90
Ce qu’elle établit — le mode collapse vient d’un biais de typicité dans les données de préférence ; le remède au prompt (Verbalized Sampling) restaure la diversité.