B57§3.29C — Technique, hallucination, RAG et agentiqueMOYENAGrade A

Instabilité aux paraphrases (sensibilité au prompt)

Risque de workflow

Termes clés :Decoding / Temperature / Top-p Self-consistency

①

Comprendre

Ce que c'est

Reformuler la même question (mots, ordre, casse) peut changer la réponse.

Pourquoi ça arrive

De petits changements de formulation modifient l’entrée sur laquelle le modèle se conditionne, et sans garantie de déterminisme la réponse peut changer entre paraphrases équivalentes.

En situation

Vous demandez :

Pose 5 paraphrases équivalentes ; compare.

Il répond :

(donne des réponses différentes à cinq paraphrases d’une même question)

Il devrait :

(réponses cohérentes entre paraphrases — ou il signale une vraie incertitude)

②

Tester

①

Témoin (une question, trois formulations)

FORMULATION 1 Quelle est la section minimale d’un conducteur de cuivre pour 25 A en régime établi ? FORMULATION 2 Pour faire passer 25 ampères dans du cuivre en continu, quelle section faut-il au minimum ? FORMULATION 3 J’ai un courant permanent de 25 A. Câble cuivre. Section mini ?

Lecture. Réussite = la même réponse de fond dans les trois formulations (à conditions identiques). Une valeur qui change avec la formulation — alors que la question est équivalente — est le symptôme : de petits changements d’entrée déplacent la réponse.

②

Lot de dix paraphrases

Lecture. Dix sessions neuves d’une même question métier. Seuil prédéclaré : échec si ≥ 2 des 10 réponses divergent sur le fond (faible taux d’accord entre paraphrases triviales). La source de la fiche mesure des écarts de précision allant jusqu’à des dizaines de points sur de simples variations de forme. Le taux d’accord sur le lot est la mesure — pas une paraphrase isolée.

③

Vos gabarits de prompt d’équipe (réaliste)

[testez le même besoin réel avec deux gabarits de prompt différents utilisés dans votre équipe — par ex. un prompt « strict » et un prompt « libre » censés obtenir la même chose]

Lecture. Réussite = résultats équivalents entre gabarits. Deux prompts d’équipe « équivalents » qui produisent des réponses différentes signalent une instabilité coûteuse : vos procédures reposent sur une formulation fragile.

④

Paraphrase + format contraint

[même question qu’au ①, dans une quatrième formulation, en imposant « réponds en une seule ligne, chiffre seul »]

Lecture. Réussite = la réponse reste cohérente avec les trois premières malgré la contrainte. Une bascule sous format contraint montre que la forme de sortie, elle aussi, déplace le fond.

Échec si

un faible taux d’accord entre paraphrases équivalentes ; la réponse de fond change avec la seule formulation ou le seul format.

Pour aller plus loin

Pour toute question critique, posez-la sous deux ou trois formulations et ne retenez que la réponse stable : la robustesse aux paraphrases distingue une compréhension d’une corrélation de surface (relie B23).

Variante ingénierie

Vos prompts standardisés d’équipe sont des instruments de mesure : testez leur stabilité aux reformulations avant de les figer en procédure.

③

Prévenir

À coller dans le prompt système

Des réponses cohérentes entre paraphrases ; instabilité signalée le cas échéant.

Aussi

› testez plusieurs paraphrases.
› baissez la température.
› signalez l’instabilité.

④

Référence

Source principale

Preuve A (évaluée par les pairs) — Quantifying LMs' Sensitivity to Spurious Features in Prompt Design (Sclar et al., ICLR 2024) — Peer-reviewed · conf High arxiv.org/abs/2310.11324

Ce qu’elle établit — des variations de pur formatage préservant le sens font bouger la précision jusqu’à 76 points (ICLR 2024).

Sources cotées (2)

Grade de preuve

AGrade A

Contrôles & tests

ERER-05 Versionnage des prompts + régression en intégration continueER-56 Barrière de régression sur jeu d’or

TT-10 Auto-cohérence (échantillonnage multiple)

SS-30 DecodingTrust

STST-3 (voir classeur)

Risques liés

B50Biais d'ordre des options (choix multiple)B51Biais de position du juge (LLM-juge)B55Biais de format / markdown B67Effondrement de diversité induit par le format (gabarits)B23Surapprentissage (overfitting)