La grille de notation est une surface d'attaque (dérive de préférence induite)
Comprendre
Une retouche de grille d'apparence naturelle — critères préservés, formulation ajustée — déplace durablement les verdicts du LLM-juge sur un domaine cible, tout en passant la validation par benchmark.
La grille est l'interface de décision du juge : une retouche y induit une repondération cohérente et directionnelle des critères. Le benchmark de validation, lui, ne couvre que sa propre distribution — pas le domaine que vous jugez réellement.
Tester
l'accord avec la référence chute sur le domaine visé pendant que le benchmark de validation ne bouge pas — c'est la signature de la dérive induite, et elle est invisible en agrégé.
Préenregistrez la grille comme vous préenregistreriez un plan d'analyse (B19) : version, critères, ordre, seuils — fixés avant de voir les résultats. Une grille modifiée après coup pour « mieux coller » aux résultats est un p-hacking qui ne dit pas son nom.
Prévenir
- › la grille est du code : versionnée, revue à deux, gelée.
- › toute retouche passe la barrière de régression sur jeu d'or avant la production.
- › randomiser l'ordre des critères à chaque évaluation.
- › Contrôle résiduel : aucun changement de grille en production sans jeu d'or ni journal des versions.
Référence
Preuve B (préprint — pas encore relu par les pairs) — Rubrics as an Attack Surface: Stealthy Preference Drift in LLM Judges (Ding et al.) arxiv.org/abs/2602.13576
Ce qu'elle établit — des retouches de grille conformes au benchmark induisent une dérive directionnelle des préférences du juge sur un domaine cible : jusqu'à 9,5 % d'accord perdu en utilité et 27,9 % en innocuité, sans que les métriques agrégées du benchmark ne bougent. La dérive ne s'arrête pas au juge : les étiquettes de préférence qu'il produit s'internalisent ensuite dans le post-entraînement, déplaçant durablement le comportement du modèle aligné.