A-t-on encore besoin du RAG quand les modèles ont un énorme contexte et de la mémoire?

Le RAG, abréviation de retrieval-augmented generation (génération augmentée par récupération), est une façon de répondre à des questions à partir de vos propres documents. Au lieu de tout donner au modèle, votre système cherche d’abord dans les documents, choisit les quelques passages les plus susceptibles d’aider et n’ajoute que ceux-là au prompt. Le modèle rédige ensuite sa réponse à partir de cette petite sélection pertinente.

Le RAG est devenu populaire quand les modèles ne pouvaient lire que quelques milliers de mots à la fois. Aujourd’hui, la fenêtre de contexte, la quantité de texte qu’un modèle peut absorber d’un coup, a énormément grandi : GPT-5.4 accepte jusqu’à un million de jetons par l’API, et les applications de clavardage ajoutent des fonctions de mémoire qui rappellent des détails de conversations antérieures. Il est donc légitime de se demander si l’étape de recherche mérite encore sa place. La réponse honnête dépend de la quantité de documents dont vous disposez.

Quand « tout coller » fonctionne

Anthropic, dont les modèles Claude prennent en charge de longs contextes, donne une règle simple dans son guide sur la récupération contextuelle : si votre base de connaissances compte moins d’environ 200 000 jetons, soit à peu près 500 pages, vous pouvez souvent tout mettre dans le prompt et vous passer du RAG. La mise en cache des prompts, qui permet à un fournisseur de réutiliser un bloc d’entrée identique d’une requête à l’autre à un prix moindre, rend cette approche moins chère et plus rapide. Un manuel de produit, un recueil de politiques ou les notes de cours d’une session tombent souvent dans cette fourchette.

La mémoire est un outil différent. Elle aide un assistant à se rappeler des détails sur vous et vos conversations précédentes, ce qui est utile, mais elle ne remplace pas la recherche dans une bibliothèque de documents.

Un exemple concret : une bibliothèque de 2 000 documents

Imaginez un organisme qui possède 2 000 documents internes, comme des rapports, des procédures et des comptes rendus de réunion, d’une longueur moyenne de 1 500 jetons chacun, à titre d’exemple. Cela fait environ 3 millions de jetons. Le personnel pose environ 500 questions par mois. Voici comment les deux approches se comparent, au prix courant de GPT-5.4, soit 2,50 $ US par million de jetons d’entrée et 15 $ US par million de jetons de sortie, avec environ 500 jetons de sortie par réponse.

Ces chiffres sont calculés à partir des prix courants et de tailles données à titre d’exemple, et ils excluent le coût ponctuel de la construction de l’index de recherche. La mise en cache aide beaucoup la colonne du contexte long, mais seulement si le même énorme bloc est envoyé sans changement chaque fois, et la bibliothèque ne tient toujours pas.

Ce qui arrive à l’exactitude dans les très longues entrées

Faire entrer du texte dans la fenêtre n’est pas la même chose que bien l’utiliser. Les résultats de contexte long publiés par OpenAI elle-même pour GPT-5.4 montrent la tendance. À son test MRCR, qui demande au modèle de trouver plusieurs éléments correspondants cachés dans une longue entrée, GPT-5.4 a obtenu 97,3 % sur des entrées de 4 000 à 8 000 jetons, 79,3 % de 128 000 à 256 000 jetons et 36,6 % de 512 000 jetons à un million. À un autre test, Graphwalks, son résultat est tombé à 21,4 % dans la tranche la plus longue.

Des recherches antérieures ont relevé une faiblesse apparentée. L’article de 2023 Lost in the Middle a montré que les modèles réussissaient le mieux quand l’information utile se trouvait près du début ou de la fin d’une longue entrée, et le moins bien quand elle était enfouie au milieu, même pour des modèles conçus pour les longs contextes.

Le RAG a son propre mode de défaillance : la recherche peut rater le bon passage, et le modèle ne le voit alors jamais. Mais cette défaillance peut être mesurée et réduite. Anthropic a rapporté qu’ajouter un court contexte explicatif à chaque segment et combiner la recherche par le sens avec la recherche par mots-clés a fait passer la part des segments pertinents absents des 20 premiers résultats de 5,7 % à 2,9 %, et à 1,9 % avec une étape de reclassement.

Quand la recherche documentaire reste-t-elle le meilleur choix?

La recherche documentaire est le meilleur choix quand vos documents dépassent une fenêtre de contexte confortable, ce qui est presque toujours le cas d’une bibliothèque de milliers de documents. Elle l’emporte aussi quand vous répondez à beaucoup de questions par jour, parce que chaque question paie alors pour quelques milliers de jetons au lieu de centaines de milliers, et quand les documents changent souvent, puisque mettre à jour un index de recherche est plus rapide que reconstruire un prompt géant.

C’est aussi le meilleur choix quand vous devez montrer d’où vient une réponse. Un système RAG sait quels passages il a récupérés : il peut donc les citer, et vous pouvez vérifier si une mauvaise réponse vient d’une mauvaise recherche ou d’une mauvaise lecture. Les problèmes sont ainsi plus faciles à corriger.

Le contexte long est le choix le plus simple pour les petites collections stables et pour les tâches qui exigent une vue d’ensemble d’un coup, comme résumer un long rapport ou comparer deux contrats d’un bout à l’autre. Beaucoup d’équipes combinent les deux : la recherche réduit la bibliothèque aux 20 ou 30 documents les plus pertinents, et une longue fenêtre de contexte permet au modèle de les lire en entier plutôt qu’en petits fragments.