Monoculture algorithmique — les modèles se trompent ensemble
Comprendre
Deux modèles différents ne sont pas deux avis indépendants : leurs erreurs sont corrélées — quand l'un se trompe, l'autre se trompe souvent de la même façon.
Architectures voisines, données d'entraînement qui se recouvrent, mêmes méthodes d'alignement. Et le résultat contre-intuitif : ce sont les modèles les plus grands et les plus précis qui ont les erreurs les plus corrélées — y compris entre fournisseurs distincts.
Tester
un second modèle est employé comme validation indépendante ; la convergence d'un jury est prise pour une preuve ; aucune mesure de corrélation des erreurs n'a été faite avant de s'y fier.
Croisez les lignées de modèles : le gain est réel mais modeste (l'indépendance effective passe d'environ 1,4 à 2,2 pour dix agents — pas à dix). Et gardez un contrôle humain sur les décisions irréversibles : aucun empilement de modèles ne le remplace.
Prévenir
- › croiser les familles de modèles (pas seulement les fournisseurs).
- › mesurer la corrélation des erreurs sur un lot à vérité terrain avant de fonder une décision sur un jury.
- › traiter le désaccord comme le signal utile, l'unanimité comme une alerte.
- › Contrôle résiduel : toute décision irréversible affectant une personne garde un arbitre humain.
Référence
Preuve A (évaluée par les pairs) — Correlated Errors in Large Language Models (Kim, Garg, Peng & Garg, ICML 2025) arxiv.org/abs/2506.07962
Ce qu'elle établit — sur plus de 350 modèles, les erreurs sont fortement corrélées : sur un jeu de données, deux modèles donnent la même réponse 60 % du temps lorsqu'ils se trompent tous les deux. Les facteurs sont les architectures et les fournisseurs partagés — mais, de façon contre-intuitive, les modèles les plus grands et les plus précis présentent les erreurs les plus corrélées, y compris entre fournisseurs distincts. L'article mesure l'effet sur deux tâches : l'évaluation par juge LLM et le tri de candidatures (monoculture algorithmique et exclusion systémique).