Pourquoi les modèles d’IA ratent-ils des éléments au milieu d’un long document?

Les modèles acceptent maintenant de très longs textes : un contrat, une pile de notes de réunion, un rapport entier. Il est naturel de supposer que si un document tient dans la fenêtre de contexte (la quantité de texte qu’un modèle peut prendre en compte d’un coup), le modèle en lit chaque partie avec le même soin. Ce n’est pas le cas. L’endroit où se trouve un fait dans le texte change la probabilité que le modèle l’utilise.

La preuve la plus claire vient d’un article de 2023 signé par Nelson F. Liu et six collègues, connu par la première moitié de son titre, Lost in the Middle (perdu au milieu). Sa principale conclusion oriente encore les conseils de rédaction de prompts que publient aujourd’hui les créateurs de modèles.

Ce que la recherche a trouvé

Les auteurs ont confié aux modèles deux types de tâches qui exigent de trouver une information précise dans un long texte. Dans la première, un modèle recevait une question et un ensemble de documents, dont un seul contenait la réponse. Dans la seconde, il recevait une longue liste de clés associées à des valeurs et devait renvoyer la valeur d’une clé donnée. Les chercheurs ont ensuite déplacé l’élément utile : en première position, quelque part au milieu, en dernière position.

Ce seul changement faisait beaucoup varier l’exactitude. Les modèles s’en tiraient généralement le mieux quand l’information nécessaire venait en premier ou en dernier, et le moins bien quand elle se trouvait au milieu. Si l’on trace l’exactitude en fonction de la position, la courbe plonge au centre et remonte aux deux extrémités, comme un U évasé. Ce creux apparaissait même chez des modèles conçus précisément pour les longs textes.

Pourquoi la position compte

Un modèle traite le texte au moyen de l’attention, le mécanisme qui permet à chaque mot de s’appuyer sur les autres mots du texte. En principe, chaque jeton peut atteindre tous les autres. En pratique, la façon dont un modèle apprend à répartir cette attention dépend de son entraînement, et rien ne garantit qu’elle sera égale sur un très long passage. L’article a mesuré l’effet plutôt que d’en cerner une cause unique.

Une comparaison approximative avec les humains aide : après avoir entendu une longue liste, les gens ont aussi tendance à mieux se souvenir des premiers et des derniers éléments. L’analogie est imparfaite, mais elle rappelle utilement que « c’était dans le document » ne veut pas dire « ça a été utilisé ».

Le comportement des modèles devant les longs contextes s’est amélioré depuis. OpenAI, dans son guide de rédaction de prompts pour GPT-4.1 d’avril 2025, rapporte de bons résultats en recherche simple d’information sur toute sa fenêtre d’un million de jetons, tout en notant que la performance peut encore baisser quand une tâche exige d’extraire de nombreux éléments ou de raisonner avec soin sur l’ensemble du texte. Le problème du milieu est donc moins important qu’avant pour les recherches simples, mais il n’a pas disparu pour le vrai travail.

Un test de position, pas à pas

Vous pouvez vérifier le comportement de votre propre modèle en une quinzaine de minutes.

1. Prenez un long document que vous avez le droit de partager, ou créez-en un en collant ensemble vingt notes de service sans lien entre elles, de quelques paragraphes chacune.
2. Rédigez un fait inventé et vérifiable qui n’apparaît nulle part ailleurs, par exemple : « Le code du stationnement du personnel devient 4417 vendredi. »
3. Faites trois copies du document. Insérez le fait dans la première note de la copie A, dans la dixième note de la copie B et dans la dernière note de la copie C.
4. Dans trois nouvelles conversations, collez une copie chacune, suivie de la même question :

En te fondant uniquement sur le document ci-dessus, quel est le nouveau code du stationnement du personnel, et quand change-t-il? Si le document ne le dit pas, réponds « Non précisé ».

1. Refaites chaque test deux ou trois fois et remplissez un tableau comme celui-ci :

Pour rendre le test plus difficile, posez une question qui exige deux faits, l’un placé au début et l’autre au milieu, comme une date dans une note et un numéro de salle dans une autre. Les tâches qui combinent des éléments montrent généralement l’effet plus clairement que les recherches d’un seul élément.

Comment rédiger des prompts qui contournent le problème?

Placez vos consignes à deux endroits. Le guide de GPT-4.1 d’OpenAI recommande de mettre les consignes à la fois avant et après un long bloc de contexte, parce que cette disposition a mieux fonctionné dans ses tests que l’une ou l’autre position seule. Si vous ne les donnez qu’une fois, le guide a constaté qu’au-dessus du contexte fonctionne mieux qu’en dessous. Un modèle simple : une courte ligne en haut qui dit quelle est la tâche, le document, puis la question complète à la fin.

Demandez au modèle de trouver avant de répondre. Anthropic l’a montré avec Claude 2.1 en décembre 2023 : dans un test sur un long document, le simple fait de commencer la réponse de Claude par la ligne « Voici la phrase la plus pertinente du contexte : » a fait passer son résultat de 27 % à 98 %. Vous pouvez faire la même chose dans une conversation en demandant : « Cite d’abord les passages liés à ma question, avec les titres de leurs sections. Réponds ensuite en utilisant uniquement ces citations. » L’étape des citations ramène vers l’avant le contenu du milieu, et elle vous donne quelque chose à vérifier.

Réduisez le milieu. Si une partie d’un document compte plus que les autres, placez-la près du début ou répétez le passage clé à la fin. Pour les longs rapports, travaillez par sections : demandez d’abord un court résumé de chaque section, puis posez votre vraie question à partir de ces résumés. Pour un ensemble de fichiers, posez vos questions sur chaque fichier séparément et combinez vous-même les réponses.

Enfin, vérifiez ce qui compte. Demandez d’où vient la réponse dans le document, et allez voir à cet endroit. Si le modèle répond « Non précisé » pour une chose que vous savez y être, c’est le signe qu’il faut diviser le document ou déplacer le passage, et non vous fier à la première réponse.