Perdu au milieu (contexte long)
Comprendre
Dans un contexte long, le modèle néglige l'information du milieu (début/fin favorisés).
L'attention est inégale sur un long contexte — le début et la fin sont les mieux exploités — alors les faits clés enfouis au milieu sont sous-pondérés.
Tester
bonne réponse quand l'information est au début ou à la fin, manquée ou fausse quand elle est au milieu ; au ④, le fait central est le premier sacrifié.
C'est ici que se branche le modificateur ×B65 (Annexe D) : tout palier tenu d'une autre fiche peut être rejoué en noyant son matériau à position contrôlée, pour en établir la frontière en longueur. Placez l'information critique en tête ou en fin de contexte, jamais au centre d'un long bloc.
Analyse de longs cahiers des charges, de rapports d'expertise, de contrats : une exigence enfouie au milieu est un angle mort — extrayez-la explicitement ou repositionnez-la avant traitement.
Prévenir
- › placez l'info critique au début ou à la fin.
- › découpez les longs documents.
- › demandez la citation exacte.
- › Contrôle résiduel : découper le document, demander une carte des sources et vérifier les passages du milieu.
Référence
Preuve A (évaluée par les pairs) — Lost in the Middle: How LMs Use Long Contexts (Liu et al., TACL 2024) (10.1162/tacl_a_00638) — Peer-reviewed · conf High
Ce qu'elle établit — la courbe en U du long contexte : début et fin exploités, milieu dégradé — y compris pour les modèles à long contexte explicite (TACL 2024).