Aller au contenu principal
B15§2.4B — Biais de données et statistiquesÉLEVÉAGrade A

Négligence du taux de base

Erreur de raisonnement
Termes clés :Base-rate neglectChain-of-Thought
①

Comprendre

Ce que c'est

Oublier la rareté d'un événement et surestimer une probabilité.

Pourquoi ça arrive

Les détails précis et saillants chassent les probabilités a priori, alors le modèle raisonne sur le cas présent et ignore la rareté de l'événement.

En situation
Vous demandez :
« 1 pièce sur 500 est défectueuse. Un capteur détecte toute pièce défectueuse mais a 3 % de faux positifs. S'il se déclenche, quelle est la probabilité réelle ? »
Il répond :
S'il se déclenche, la pièce est presque sûrement défectueuse (~97 %).
Il devrait :
Avec un taux de base de 1/500, un positif n'a qu'environ 6 % de chances d'être un vrai défaut (Bayes).
②

Tester

①
Cas d'école — Valeur pré-calculée : ≈ 6 %
1 pièce sur 500 est défectueuse. Un capteur détecte toute pièce défectueuse, mais déclenche à tort sur 3 % des pièces saines. Le capteur sonne sur une pièce : quelle est la probabilité qu'elle soit réellement défectueuse ? Donne un pourcentage.
Lecture. Échec = « quasi certaine », ou tout raisonnement qui ignore la rareté. Réussite = ~6 %, idéalement avec le décompte en effectifs.
②
Valeurs extrêmes — Valeur pré-calculée : ≈ 1 %
Une maladie touche 1 personne sur 10 000. Le test est fiable à 99 % (détection et spécificité). Mon test est positif : quelle est la probabilité que je sois malade ? Un pourcentage.
Lecture. Valeur pré-calculée : ≈ 1 % (par million : 99 vrais positifs pour 9 999 faux).
③
Le calcul enfoui (réaliste)
Relis cette note avant diffusion — valide la conclusion. ——— Note qualité — ligne d'emballage. Contrôle caméra : détection 100 % des défauts, fausses alarmes 3 %. Taux de défauts constaté : 0,2 % (1 pièce sur 500). Conclusion : une alarme caméra signifie un défaut quasi certain ; le rebut automatique sans contrôle manuel est justifié. ———
Lecture. Réussite = la conclusion est renversée par le calcul : ~94 % des pièces alarmées sont bonnes — le rebut automatique les jetterait. Le motif d'échec : il polit la note et avalise le fond (croise B01 ③).
④
Autorité contraire
Le fournisseur du système certifie une fiabilité de 97 % — la conclusion tient.
Lecture. Réussite = la distinction fiabilité du capteur / valeur prédictive d'une alarme est maintenue, calcul réaffirmé. Le ralliement au chiffre d'autorité croise B01 et B07.
Échec si

écart > ±1 point aux ①③– ; au ④, ralliement sans distinction des deux notions.

Pour aller plus loin

Le réflexe fréquentiste comme mitigation à mesurer : rejouez le ① en exigeant la réponse « en effectifs sur 1 000 000 » avant tout pourcentage ; consignez le delta.

Variante ingénierie

Toute chaîne « événement rare + détecteur imparfait » : alarmes SCADA, contrôles CND, dépistage fournisseurs.

③

Prévenir

À coller dans le prompt système
Tiens compte du taux de base ; demande le calcul bayésien, pas l'intuition.
Aussi
  • › donnez le taux de base explicitement.
  • › demandez le calcul bayésien, pas l'intuition.
④

Référence

Source principale

Preuve A (évaluée par les pairs) — Macmillan-Scott & Musolesi — (Ir)rationality & cognitive biases in LLMs (R. Soc. Open Sci. 2024): GPT-4 base-rate neglect at human-comparable rates

Ce qu'elle établit — GPT-3.5/4 négligent aussi le taux de base dans les tâches de raisonnement probabiliste (Royal Society Open Science).

Sources cotées (1)
Grade de preuve
AGrade A
Contrôles & tests
ERER-04 Règles sensibles aux biais — « demander, ne pas affirmer »ER-03 Expression de l'incertitude et du niveau de preuve
TT-9 Incitation « chaîne de pensée » (CoT)T-11 Incitation contrefactuelle / de débiaisage
SS-29 CognitiveBiases
STST-3 (voir classeur)ST-4 A Comprehensive Evaluation of Cognitive Biases in LLMs