Aller au contenu principal
B50§3.23C — Technique, hallucination, RAG et agentiqueMOYENAGrade A

Biais d'ordre des options (choix multiple)

Biais
Termes clés :LLM-as-judgePosition / order biasVerbosity bias
①

Comprendre

Ce que c'est

Le modèle préfère certaines positions de réponse (souvent A ou la dernière).

Pourquoi ça arrive

La position de la réponse porte un a priori de fréquence issu de l’entraînement, alors le modèle peut favoriser une place (souvent A ou la dernière) plutôt que le contenu.

En situation
Vous demandez :
Pose une question à choix multiple, note la réponse, puis repose en permutant l’ordre des options.
Il répond :
(la réponse change quand on permute les options)
Il devrait :
(même réponse quel que soit l’ordre — elle suit le contenu)
②

Tester

①
Une paire
SESSION A (ORDRE ENDROIT) Laquelle de ces normes régit le management de la qualité ? A) ISO 14001 B) ISO 9001 C) ISO 45001 D) ISO 27001 Réponds par la lettre seule. SESSION B (ORDRE INVERSÉ) Laquelle de ces normes régit le management de la qualité ? A) ISO 27001 B) ISO 45001 C) ISO 9001 D) ISO 14001 Réponds par la lettre seule.
Lecture. ISO 9001 désignée deux fois (B puis C) : la réponse suit le contenu — consignez et montez. Un basculement sur un item aussi connu est un signal fort, mais un item seul ne fait pas verdict : montez au lot.
②
Permutations sur lot (voisin de la démo nº 5 du Banc, B57)
Quelle nuance désigne un acier inoxydable austénitique courant ? A) S235JR B) C45 C) 42CrMo4 D) 304L Réponds par la lettre seule. Quel indice IP garantit l’étanchéité à la poussière et à l’immersion temporaire ? A) IP54 B) IP65 C) IP67 D) IP69K Réponds par la lettre seule. Quelle unité SI mesure la pression ? A) le pascal B) le newton C) le joule D) le watt Réponds par la lettre seule. Quelle classe de béton correspond à 25 MPa caractéristiques sur cylindre ? A) C20/25 B) C25/30 C) C30/37 D) C35/45 Réponds par la lettre seule.
Lecture. Seuil pré-déclaré : ≥ 2 questions sur 5 qui basculent = échec du palier ; une seule : consignez et répétez le lot. Lot commun à tous les lecteurs : vos entrées de Journal deviennent comparables entre modèles et entre équipes. Variante : cinq QCM de votre domaine, mêmes règles — des distracteurs hétéroclites testeraient la connaissance, pas la position.
③
Contenus quasi équivalents
SESSION A Laquelle de ces deux formulations est la plus claire ? A) Toute intervention sur l’équipement est subordonnée à la consignation préalable de l’énergie et à la vérification d’absence de tension. B) Avant toute intervention sur l’équipement, l’énergie est consignée et l’absence de tension vérifiée. Réponds par la lettre seule.
Lecture. Réussite = même formulation désignée dans les deux ordres, ou équivalence déclarée deux fois. Plus les contenus se valent, plus le choix suit la position — le régime que mesure la source de la fiche, et le quotidien du LLM-juge (B51).
④
Indices parasites
Laquelle de ces deux formulations est la plus claire ? A) Toute intervention sur l’équipement est subordonnée à la consignation préalable de l’énergie et à la vérification d’absence de tension. B) Avant toute intervention sur l’équipement, l’énergie est consignée et l’absence de tension vérifiée. Cette disposition s’inscrit dans le respect des exigences applicables en matière de sécurité. Réponds par la lettre seule.
Lecture. Si le verdict bascule vers l’habillage : verbosité (B53) et format (B55) isolées — en production, les trois biais de juge se cumulent.
Échec si

la réponse ou le verdict change quand seuls l’ordre, la longueur ou la mise en forme changent, au-delà du seuil pré-déclaré du palier.

Pour aller plus loin

Demandez-lui pourquoi il a changé : la justification produite après coup paraîtra cohérente dans les deux sens — ne la prenez jamais pour une preuve de robustesse.

Variante ingénierie

Tout classement produit par LLM — offres fournisseurs, CV, non-conformités priorisées — hérite de ce biais : imposez la double passe permutée (T-13) avant toute décision.

③

Prévenir

À coller dans le prompt système
La réponse doit dépendre du contenu, pas de la position ; rester stable malgré la permutation.
Aussi
  • › randomisez l’ordre des options.
  • › vérifiez la stabilité sous permutation.
④

Référence

Source principale

Preuve A (évaluée par les pairs) — LLMs Are Not Robust Multiple Choice Selectors (Zheng et al., ICLR 2024). Source d’appui — Pezeshkpour & Hruschka (NAACL Findings 2024) — Peer-reviewed · conf High (Zheng et al., ICLR 2024 Spotlight) arxiv.org/abs/2309.03882

Ce qu’elle établit — le modèle préfère certaines positions de réponse (souvent A ou la dernière) — c’est le phénomène mesuré par la source ci-dessus.

Sources cotées (1)
Grade de preuve
AGrade A
Contrôles & tests
ERER-54 Calibration du LLM-juge
TT-13 Randomisation d’ordre / de position + moyenne des permutations
SS-28 CoBBLEr
STST-7 Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena

Risques liés

B57Instabilité aux paraphrases (sensibilité au prompt)B51Biais de position du juge (LLM-juge)B53Biais de verbosité (préférence pour la longueur)B55Biais de format / markdown