Biais de format / markdown
Comprendre
La mise en forme (listes, gras, titres) gonfle le score perçu, indépendamment du fond.
Titres, puces et gras se lisent comme de « l’effort » pour le juge, ce qui gonfle le score perçu indépendamment du fond.
Tester
la version markdown l’emporte alors que la prose est aussi ou plus exacte ; le biais persiste sous permutation et sous consigne d’ignorer la forme.
Pour un jugement de fond, normalisez la forme avant de comparer (tout en prose, ou tout au même format) : on ne compare équitablement que ce qui est présenté identiquement. Le remède mesuré : normalisez la mise en forme avant de juger (texte brut des deux côtés), ou instruisez explicitement le juge de l’ignorer — ce sont les deux parades que la source établit. Le seul contrôle qui vaille reste le vôtre : à contenu strictement égal, la version en markdown ne doit pas gagner.
Comparaison de livrables, évaluation de réponses, sélection de contributions : une mise en forme soignée peut masquer un fond plus faible — jugez le contenu, pas l’habillage.
Prévenir
- › normalisez la mise en forme avant de juger.
- › notez le contenu, pas le style.
Référence
Preuve B (préprint — pas encore relu par les pairs) — Judging the Judges: A Systematic Evaluation of Bias Mitigation Strategies in LLM-as-a-Judge Pipelines arxiv.org/abs/2604.23178. Self-Preference / familiarity (Wataoka et al.) + LLM-as-a-judge audits arxiv.org/abs/2410.21819
Ce qu’elle établit — chez plusieurs juges testés, la préférence pour le markdown dépasse celle des humains dans une mesure suffisante pour que des différences de mise en forme non corrigées dominent les différences réelles de qualité en comparaison serrée ; les auteurs recommandent de normaliser la mise en forme avant jugement, ou d’instruire explicitement le juge de l’ignorer. Nuance : le biais de verbosité (B53) est hétérogène selon les familles de modèles — ce n’est pas une propriété uniforme des juges. Ce qui reste à établir — une preuve directe dédiée ; la sonde de la fiche en tient lieu (voir note d’audit).