Empoisonnement hors RAG (données, fine-tuning, modèle)
Comprendre
Au-delà du RAG, l’empoisonnement peut viser les données de pré-entraînement, les jeux de fine-tuning ou les artefacts de modèle : portes dérobées et déclencheurs cachés.
Un jeu de données ou un modèle tiers non vérifié peut contenir des exemples piégés qui s’activent sur un déclencheur précis.
Tester
un modèle change de comportement sur un déclencheur précis non documenté ; un modèle ou un jeu de données est employé sans provenance vérifiable ; aucune ligne de base ne permet de détecter le changement.
Le remède est en amont : provenance vérifiée, versions épinglées, ligne de base consignée. On ne détecte pas un empoisonnement en le cherchant à l’aveugle — on le détecte parce qu’on savait à quoi ressemblait le comportement normal.
Modèles affinés sur mesure, modèles open-weight récupérés, jeux de données achetés : exigez la provenance, comme vous l’exigez d’un lot de matière première.
Prévenir
- › validation des jeux de données.
- › provenance du fine-tuning.
- › tests de backdoor.
- › séparation train / eval.
- › Contrôle résiduel : la propreté du RAG ne garantit pas celle du modèle ni de ses données d’entraînement.
Référence
Preuve B (préprint — pas encore relu par les pairs) — Poisoning Attacks on LLMs Require a Near-constant Number of Poison Samples (Anthropic, UK AI Security Institute, Alan Turing Institute) arxiv.org/abs/2510.07192. Source d’appui : OWASP Top 10 for LLM Applications 2025 — LLM04 (S-40) genai.owasp.org/llmrisk/llm042025-data-and-model-poisoning.
Ce qu’elle établit — 250 documents empoisonnés suffisent à installer une porte dérobée dans des modèles de 600 M à 13 Md de paramètres : le nombre requis est quasi constant, et non proportionnel au volume de données propres. Il s’agit d’empoisonnement des données de PRÉ-ENTRAÎNEMENT — à ne pas confondre avec l’empoisonnement d’une base RAG (B40).