Fuite de préférence (le LLM-juge partage la lignée)
Comprendre
Un LLM évaluateur favorise systématiquement les sorties de modèles partageant sa lignée / ses données — un biais de parenté caché dans l'évaluation automatique.
Un juge surnote les sorties de modèles partageant sa lignée ou ses données d'entraînement — un biais de parenté paramétrique que l'inversion de l'ordre des réponses ne corrige pas.
Tester
le juge surnote les modèles apparentés ; le biais n'est pas corrigé par l'inversion de l'ordre ; les notes basculent quand la lignée est révélée.
Pour tout classement multi-modèles, variez la lignée du juge ou croisez plusieurs juges de familles différentes : un juge unique favorise sa parenté, faussant les comparaisons. Ne laissez jamais un modèle arbitrer une compétition où sa propre famille concourt.
Bancs d'évaluation, sélection de fournisseurs d'IA « jugée par IA », classements automatisés : la parenté juge/candidat biaise le verdict — diversifiez les juges et contrebalancez. Attention à la monoculture : deux modèles de lignées différentes ne sont pas deux avis indépendants ; leurs erreurs restent corrélées (B83). Le désaccord est le signal ; l'accord n'en est pas un.
Prévenir
- › assurez-vous que juge et générateurs ne partagent aucune lignée.
- › confirmez par des notes humaines.
Référence
Preuve A (évaluée par les pairs) — Preference Leakage (ST-5) (ICLR 2026)
Ce qu'elle établit — un juge favorise les sorties de sa propre lignée (même modèle, héritage, même famille) — biais plus difficile à détecter que les biais connus (ICLR 2026).