Glossaire

Definitions en clair des termes techniques et des codes propres au manuel. Chaque terme est lié aux risques qu'il éclaire.

53 termes · 18 lettres

53termes sur 53

A

A/B metric: Une mesure comparée avant/après un contrôle, pour montrer qu’il fonctionne.
Abstention: Refus de répondre lorsque les preuves sont insuffisantes.
Availability bias: Surpondérer les exemples faciles à rappeler ou marquants.

Base-rate neglect: Ignorer les probabilités a priori face à une information spécifique.
Benchmark contamination: Des données de test qui fuient dans l’entraînement, gonflant les scores.

Canary test: Une sonde fixe rejouée régulièrement pour détecter dérives et régressions.
Causal inference: Déterminer ce qui cause quoi — pas seulement ce qui corrèle ; les LLM y sont faibles.
Causal inference (Corr2Cause / CLadder): Déterminer ce qui cause quoi pas seulement ce qui corrèle ; les LLM y sont faibles.
Chain-of-Thought: Demander au modèle de raisonner étape par étape avant de répondre.
Chain-of-Verification: Brouillon → générer des questions de vérification → y répondre → réviser.
Contamination-resistant eval: Tests privés, réservés ou nouvellement constitués, résistant à la mémorisation (p. ex. LiveBench).
Counterfactual testing: Rejouer un prompt en changeant un seul attribut pour détecter un biais.

Data / RAG poisoning: Corrompre les données d’entraînement ou le corpus de récupération pour tromper le modèle.
Decoding / Temperature / Top-p: Réglages contrôlant l’aléatoire ; plus bas = plus déterministe.
Drift: Évolution progressive du comportement dans le temps, à mesure que modèles, prompts ou données changent.

Embedding: Vecteur numérique représentant le sens, utilisé pour mesurer la similarité lors de la récupération.
Excessive agency: Donner à un agent plus d’outils, de permissions ou d’autonomie que la tâche ne l’exige (OWASP LLM06).

Faithfulness: Mesure de la fidélité de la réponse au contexte — sans ajout ni contradiction.
FMEA: Analyse des modes de défaillance et de leurs effets (FMEA) — une méthode structurée pour identifier les modes de défaillance et leurs effets.

Grounding / Groundedness: Degré auquel une réponse est étayée par les sources fournies.

Hallucination: Contenu fluide et assuré, mais non étayé ou fabriqué.
HAZOP: Étude de risques et d’exploitabilité (HAZOP) — une méthode structurée d’identification des dangers.

Indirect prompt injection: Injection via un contenu que le modèle lit (web, document, e-mail), non saisi par l’utilisateur.

Least privilege: N’accorder à un agent que les permissions d’outils strictement nécessaires.
LLM-as-judge: Utiliser un LLM pour noter ou classer les sorties d’autres modèles.
Lost in the middle: Les modèles exploitent inégalement un long contexte — moins bien quand l’information clé est au milieu.

MITRE: MITRE ATLAS — une base de connaissances des tactiques et techniques adverses contre les systèmes d’IA.
Mode collapse / output diversity: Quand un modèle donne des réponses quasi identiques là où l’on attend de la variété.

NIST: Institut national américain des normes et de la technologie — auteur du cadre de gestion des risques de l’IA (AI 600-1).
NIST AI RMF / AI 600-1: Cadre volontaire américain de gestion des risques de l’IA, et son profil IA générative.

OWASP: Open Worldwide Application Security Project — éditeur du Top 10 des risques de sécurité des applications LLM.
OWASP LLM Top 10: Liste de référence des 10 risques de sécurité les plus critiques des applications LLM (édition 2025).

P&ID: Schéma tuyauterie et instrumentation (P&ID) — un schéma des équipements de procédé et de l’instrumentation.
Position / order bias: Favoriser une réponse selon sa position plutôt que sa qualité.
Preference leakage: Un juge qui privilégie un générateur qui lui est apparenté, gonflant ainsi ses scores.
Prompt injection: Instructions malveillantes dans l’entrée ou le contenu récupéré, qui détournent les consignes du système.

RAG: Le modèle récupère des documents pertinents et y puise sa réponse, au lieu de s’appuyer seulement sur sa mémoire d’entraînement.
Refusal disparity / over-refusal: Refus inégal ou excessif selon les langues ou les groupes, ou pour des requêtes bénignes.
Release gate / rollback: Contrôle avant déploiement qui bloque une mise en production, avec un plan de retour arrière en cas de régression.
Reranking: Modèle de second étage qui réordonne les passages récupérés selon leur pertinence réelle.
Retrieval: Récupération de passages candidats (par mots-clés et/ou similarité vectorielle) pour alimenter le modèle.
RLHF: Reinforcement Learning from Human Feedback — alignement par apprentissage à partir de préférences humaines.

Self-consistency: Échantillonner plusieurs chemins de raisonnement et retenir la réponse majoritaire.
Self-preference / self-enhancement bias: Un juge qui favorise les sorties de sa propre famille de modèles.
Self-Refine / Reflexion: Le modèle critique son propre brouillon puis le révise.
Semantic entropy: Échantillonner des réponses et les regrouper par sens ; une entropie élevée signale une hallucination.
Spotlighting: Marquer le contenu non fiable comme donnée, et non comme instruction.
Stereotype benchmark: Jeu de données mesurant les associations stéréotypées dans les sorties (BBQ, StereoSet, CrowS-Pairs).
STPA: Systems-Theoretic Process Analysis — une méthode d’analyse des dangers issue de l’ingénierie système. **CFD / FEA** — Mécanique des fluides numérique / Analyse par éléments finis — des méthodes de simulation numérique.
Survivorship bias: Ne raisonner qu’à partir des cas « survivants », en ignorant les abandons.
Sycophancy: Donner raison à l’utilisateur plutôt qu’aux preuves.

Tokenization: Façon dont le texte est découpé en tokens ; masque les lettres, d’où des erreurs de comptage et d’orthographe.

Verbosity bias: Préférer les réponses plus longues indépendamment de leur exactitude.