Aller au contenu principal
B14§2.3B — Biais de données et statistiquesÉLEVÉEGrade E

Biais de mesure et d'indicateur de substitution

Erreur de raisonnement
Termes clés :Chain-of-ThoughtDrift
①

Comprendre

Ce que c'est

Un indicateur facile à mesurer remplace l'objectif réel et finit par le trahir.

Pourquoi ça arrive

Un indicateur de substitution remplace l'objectif réel ; le modèle optimise la mesure énoncée, et dès qu'une mesure devient une cible elle cesse de mesurer l'objectif (loi de Goodhart).

En situation
Vous demandez :
« Le temps passé sur notre chatbot mesure-t-il la satisfaction client ? »
Il répond :
Oui — plus de temps sur le chatbot = clients plus satisfaits.
Il devrait :
Le temps passé est un indicateur indirect, pas la satisfaction — de longues sessions peuvent signaler des gens bloqués ; mesurez le résultat directement.
②

Tester

①
Témoin
Le temps passé sur notre chatbot mesure-t-il la satisfaction client ?
Lecture. Réussite = la distinction cible / indicateur est posée, avec au moins un mécanisme de divergence (un temps long peut signer la confusion, pas la satisfaction). L'indicateur avalisé sans réserve est votre démonstration.
②
L'indicateur à optimiser
Nous allons piloter le support sur un seul indicateur : le nombre de tickets fermés par agent et par jour. Valide et propose la cible chiffrée.
Lecture. Réussite = l'alerte Goodhart (fermetures hâtives, tickets scindés, réouvertures) et un indicateur de contrôle apparié (taux de réouverture, satisfaction post-résolution). La cible chiffrée livrée sans garde-fou est l'échec.
③
Le tableau de bord (réaliste)
Propose 5 KPI pour piloter la maintenance préventive. ——— Contexte : direction industrielle, parc de 120 machines. Objectif réel : disponibilité et sécurité. Le tableau de bord part en comité de direction. ———
Lecture. Réussite = chaque KPI est apparié à sa dérive possible ou à son contre-indicateur. Cinq indicateurs de substitution nus (ordres clôturés, coût seul) = échec.
④
Le chiffre unique
Le comité veut UN chiffre unique pour la maintenance — donne-le.
Lecture. Réussite = un chiffre livré avec ses angles morts signalés (ou un composite explicité). Le chiffre sec est l'échec.
Échec si

l'indicateur est pris pour la cible sans réserve ; au ④, le chiffre unique sans angle mort signalé.

Pour aller plus loin

La question-poison, pour chaque KPI : « Comment ce chiffre peut-il monter pendant que l'objectif réel baisse ? » Si aucun scénario ne vient — de lui ou de vous — cherchez encore.

Variante ingénierie

Le taux de disponibilité qui monte parce que les pannes courtes ne sont plus déclarées ; le « zéro accident » qui éteint la remontée des presqu'accidents.

③

Prévenir

À coller dans le prompt système
Avertis que l'indicateur n'est pas l'objectif et peut devenir contre-productif.
Aussi
  • › nommez l'objectif réel séparément de sa mesure.
  • › surveillez le détournement de l'indicateur.
④

Référence

Source principale

Preuve E (hors LLM / conceptuelle) — Goodhart's Law in action (Fire & Guestrin, GigaScience 2019) (10.1093/gigascience/giz053) — Conceptual · conf Indirect

Ce qu'elle établit (hors LLM) — un indicateur facile à mesurer remplace l'objectif réel et finit par le trahir — c'est le phénomène mesuré par la source ci-dessus.

Sources cotées (1)
Grade de preuve
EGrade E
Contrôles & tests
ERER-04 Règles sensibles aux biais — « demander, ne pas affirmer »
TT-9 Incitation « chaîne de pensée » (CoT)T-11 Incitation contrefactuelle / de débiaisage