Dérive du modèle / prompt / source (après déploiement)
Comprendre
Après déploiement, dégradation silencieuse quand le modèle, la distribution des prompts ou les documents changent — souvent sans pic de latence ni code d'erreur (toujours 200 OK).
Après déploiement, le checkpoint du modèle, le mélange des prompts ou les documents sous-jacents changent silencieusement — il renvoie toujours 200 OK, alors la supervision standard rate la baisse de qualité.
Tester
dégradation silencieuse d'un verdict jadis stable, sans pic de latence ni code d'erreur ; l'APM standard ne la voit pas ; une bascule apparaît après un changement ou entre deux interfaces.
Faites du rejeu daté de canaris votre supervision qualité : c'est le seul instrument qui capte une dérive de comportement, invisible aux métriques techniques. Le Journal de bord n'est pas un archivage, c'est votre ligne de base.
Tout système en production reposant sur un LLM tiers dérive à chaque mise à jour du fournisseur : un jeu de canaris rejoué périodiquement est votre seule alerte précoce.
Prévenir
- › rejouez des prompts canaris régulièrement.
- › suivez la qualité des sorties, pas seulement la disponibilité.
- › verrouillez les mises à jour.
Référence
Preuve D (cadre/norme, pas une preuve empirique) — NIST AI 600-1, AI Incident Database, Inspect (S-46/47/48) — Reported (framework/registry/tools). NOTE D'AUDIT — v10.13 : identifiants confirmés (S-46/47/48) ; sources directes « dérive / canaris / régressions » : à identifier (NON VÉRIFIÉ) — candidates internes Club AI bienvenues.
Ce que le cadre fournit — la définition de référence de ce risque et ses mesures de prévention (correspondance de code vérifiée à l'audit v10.12.4).