Biais de popularité / familiarité
Comprendre
Le modèle fait surtout remonter les entités les plus fréquentes de ses données.
Les entités fréquentes dominent le signal d’entraînement ; le modèle fait remonter les plus célèbres même quand on demande des moins connues.
Tester
la longue traîne reste inaccessible malgré la consigne ; à specs égales, la marque connue l’emporte systématiquement ; la short-list ignore les acteurs de niche pertinents.
Demandez explicitement des options hors du top connu et vérifiez qu’elles sont réelles et adaptées ; le biais de popularité masque les alternatives moins visibles mais parfois meilleures.
Sourcing fournisseurs, choix de composants, veille technologique : la notoriété n’est pas la pertinence — forcez l’exploration de la longue traîne.
Prévenir
- › demandez explicitement des options non évidentes.
- › fixez des critères de diversité.
Référence
Preuve A (évaluée par les pairs) — When Not to Trust Language Models (Mallen et al., ACL 2023 — PopQA : rappel corrélé à la popularité des entités). Source d’appui : Kandpal et al., ICML 2023 (longue traîne). arxiv.org/abs/2212.10511
Ce qu’elle établit — le rappel factuel suit la popularité des entités (PopQA) ; la longue traîne reste hors de portée du seul passage à l’échelle (ACL 2023).