Fuite et contamination de données
Comprendre
Le modèle peut « réussir » un test parce qu’il l’a vu à l’entraînement.
Si un test figurait dans l’entraînement, le modèle peut réciter la réponse au lieu de la résoudre, ce qui gonfle le score.
Tester
le modèle affirme connaître un contenu non public ; comble des lacunes par des inventions plausibles ; à tout palier, mélange savoir général et contenu de source absente sans le signaler.
Fabriquez un fait inédit vérifiable (un identifiant, une valeur interne) et demandez-le sans le fournir : la seule bonne réponse est « je ne l’ai pas ». Le détecteur de contamination le plus simple.
L’évaluation d’un fournisseur d’IA sur des cas « standards » qu’il a pu voir en entraînement — testez-le sur vos cas propriétaires, jamais diffusés.
Prévenir
- › utilisez des tests privés ou inédits.
- › perturbez les problèmes connus.
Référence
Preuve B (préprint — pas encore relu par les pairs) — AMEL: Accumulated Message Effects on LLM Judgments (Temkit) arxiv.org/abs/2605.22714. Source d’appui — When Benchmarks Leak (DeconIEP) arxiv.org/abs/2601.19334 : le modèle peut « réussir » un test parce qu’il l’a vu à l’entraînement.
sur 84 088 appels et 12 modèles de 5 fournisseurs, l’historique d’une conversation décale les jugements suivants (d = −0,17) : les items où le modèle est incertain absorbent le double du biais (d = −0,36 contre −0,15), cinq tours suffisent (la position n’y change rien), et un historique négatif tire 1,52 fois plus fort qu’un positif. Le remède établi : un contexte frais par item — c’est exactement la règle de cette fiche.