Fausse réussite — l'échec silencieux de l'agent
Comprendre
L'agent déclare la tâche accomplie alors que l'état réel du système dit le contraire : « votre remboursement a été traité » — la base de données n'en a aucune trace.
L'outil a échoué (délai dépassé, sortie vide, erreur avalée par le framework), mais le modèle produit toujours du texte : il narre la réussite au lieu de signaler la panne. Distinct de B73 : là, l'agent invente l'appel ; ici, l'appel est correct et c'est le résultat qui est fabriqué.
Tester
l'agent affirme une complétion que rien ne vérifie ; une panne d'outil devient une analyse ; une sortie vide produit un résumé ; aucune vérification d'état indépendante n'existe dans la chaîne.
Le seul contrôle est l'état du système. Instrumentez chaque appel d'outil (code de retour, sortie vide, délai) et faites échouer bruyamment ce qui échoue — un framework qui « avale » les erreurs fabrique des fausses réussites (croise B77).
Prévenir
- › instrumenter chaque appel d'outil : code de retour, sortie vide, délai dépassé.
- › vérification d'état indépendante après toute action (lire la base, pas la réponse de l'agent).
- › ne jamais laisser le framework avaler silencieusement une exception.
- › Contrôle résiduel : toute action à effet est confirmée par lecture de l'état, jamais par la déclaration de l'agent.
Référence
Preuve B (préprint — pas encore relu par les pairs) — From Confident Closing to Silent Failure: Characterizing False Success in LLM Agents (Advani) arxiv.org/abs/2606.09863
Ce qu'elle établit — sur 9 876 trajectoires (8 familles de modèles) et 1 879 trajectoires supplémentaires (4 familles), la « fausse réussite » représente 45–48 % de tous les échecs dans les domaines à contrôle unique (44–52 % selon le domaine), et 75,8 % chez les agents de codage qui émettent un signal de complétion explicite. Les taux par modèle vont de 13 % à 89 %. Les modèles de raisonnement n'offrent aucune protection (79 % pour le pire). Les juges LLM ne détectent pas le phénomène (AUROC ≤ 0,65) : ils se fient au langage de clôture confiant. Dans un domaine à double contrôle, où l'état réel est vérifié indépendamment, le taux tombe à 3 %.