# Que signifie la nouvelle fenêtre de contexte de 100K de Claude, et que peut-il lire d’un coup?

Date: 2023-05-12 · Author: Robert Scales · https://guidetoartificialintelligence.com/fr/apprendre/fenetre-de-contexte-100k-claude/

**Answer:** Anthropic a fait passer la quantité de texte que Claude peut absorber d’un coup d’environ 9 000 jetons à 100 000 jetons, soit à peu près 75 000 mots, ou un court roman entier. Une seule requête peut ainsi contenir des centaines de pages, et Claude peut résumer, comparer et répondre à des questions sur de longs documents en moins d’une minute.

Hier, le 11 mai 2023, Anthropic a annoncé que son assistant Claude peut maintenant travailler avec 100 000 jetons de texte d’un seul coup. Avant ce changement, la limite était d’environ 9 000. En termes de tous les jours, Claude est passé de la capacité de garder un long essai sous les yeux à celle de garder un livre entier.

Anthropic a fait l’annonce dans un court billet sur son site Web. La fenêtre élargie est offerte par son API, l’interface de programmation que les entreprises utilisent pour intégrer Claude à leurs propres produits. Les entreprises qui n’utilisent pas encore Claude peuvent demander l’accès. L’entreprise présente le changement sous l’angle du travail professionnel : contrats, documents financiers réglementaires, articles de recherche, manuels techniques et projets logiciels entiers.

## Qu’est-ce qu’une fenêtre de contexte?

Un modèle de langage comme Claude ne lit pas un document comme vous le feriez, page par page, sur plusieurs soirées. Tout ce qu’il prend en compte pour répondre doit tenir dans un seul bloc de texte envoyé avec la requête : vos consignes, les documents que vous collez et la conversation jusqu’ici. Ce bloc, c’est la **fenêtre de contexte**.

La fenêtre se mesure en **jetons** (*tokens*), les petits morceaux en lesquels un modèle découpe le texte. Un jeton peut être un mot court entier ou une partie d’un mot plus long. TechCrunch donne l’exemple de *fantastic*, qui peut être coupé en trois morceaux. Les chiffres d’Anthropic montrent le rapport habituel : 100 000 jetons représentent environ 75 000 mots anglais; un jeton équivaut donc à peu près aux trois quarts d’un mot.

Tout ce qui tombe hors de la fenêtre n’existe pas pour le modèle. C’est pourquoi les robots conversationnels à petite fenêtre perdent le fil dans les longues conversations. Après quelques milliers de mots, ils peuvent oublier les premières consignes et s’éloigner du sujet. Une fenêtre plus grande ne donne pas à Claude une mémoire d’un jour à l’autre, mais elle permet de faire tenir beaucoup plus de choses dans une seule séance.

## Quelle taille représentent 100 000 jetons?

Voici une comparaison simple, selon le rapport des trois quarts mentionné plus haut. Les nombres de mots sont des estimations arrondies, pas des limites officielles.

| Fenêtre | Nombre approximatif de mots | Suffisant à peu près pour |
|---|---|---|
| Claude avant cette semaine : 9 000 jetons | environ 6 700 | Un long article ou un court rapport |
| La plus grande version de GPT-4 : 32 000 jetons | environ 24 000 | Un long rapport ou une mince brochure |
| Claude maintenant : 100 000 jetons | environ 75 000 | Un court roman, ou des centaines de pages de documents |

TechCrunch note que la version de GPT-4 à 32 000 jetons détenait le record précédent. La nouvelle limite d’Anthropic est environ trois fois plus grande.

Anthropic propose aussi d’autres façons de se représenter cette taille. Un lecteur moyen aurait besoin de plus de cinq heures pour lire 100 000 jetons, et de bien plus longtemps pour les assimiler et les analyser. En audio, cela équivaut à environ six heures de parole une fois transcrite.

## Le test de *The Great Gatsby*

Pour montrer la fenêtre à l’œuvre, Anthropic a chargé le texte intégral de *The Great Gatsby*, de F. Scott Fitzgerald, environ 72 000 jetons, dans Claude Instant, la version plus rapide et plus légère de Claude. L’entreprise a modifié une phrase pour que le narrateur, M. Carraway, devienne « un ingénieur logiciel qui travaille sur les outils d’apprentissage automatique chez Anthropic ». Puis elle a demandé au modèle ce qui avait changé. Claude a trouvé la ligne modifiée en 22 secondes.

Le test est un peu ludique, mais il vérifie quelque chose de réel. Pour repérer une seule phrase modifiée, le modèle doit traiter le roman entier comme un seul texte et remarquer ce qui n’y a pas sa place.

Anthropic cite aussi une démonstration d’AssemblyAI, une entreprise qui transforme la parole en texte. AssemblyAI a transcrit un long balado, d’environ 58 000 mots, puis a utilisé Claude pour résumer l’épisode et répondre à des questions à son sujet.

## Pourquoi c’est important cette semaine

Jusqu’ici, une façon courante de travailler avec de longs contenus était de les découper en petits morceaux, de les stocker et de ne retirer que les morceaux qui semblent pertinents pour chaque question. On appelle souvent cette méthode la **recherche vectorielle** : chaque morceau est transformé en liste de nombres, et le système va chercher les morceaux dont les nombres sont les plus proches de la question. Cela fonctionne, mais peut manquer des réponses qui dépendent de plusieurs parties d’un document à la fois.

Anthropic soutient que, pour les questions complexes, placer simplement tous les documents dans le prompt fonctionnera souvent mieux. Sa liste d’usages suggérés illustre l’idée :

- résumer et expliquer des articles denses ou des états financiers;
- évaluer les risques et les occasions d’une entreprise à partir de ses rapports annuels;
- exposer le pour et le contre d’un projet de loi;
- dégager les thèmes et les arguments d’une pile de documents juridiques;
- répondre à des questions techniques à partir de centaines de pages de documentation pour développeurs;
- charger toute une base de code pour que Claude puisse s’en servir comme point de départ ou la modifier.

Il y a des limites. TechCrunch rappelle que Claude oublie encore tout d’une séance à l’autre, et qu’il accorde le même poids à chaque morceau de texte de sa fenêtre, comme un lecteur qui accorderait autant d’attention à une note de bas de page qu’à une manchette. Certains chercheurs pensent que ces problèmes exigeront de nouvelles architectures de modèles. Et pour l’instant, la fonction s’adresse aux développeurs et aux partenaires d’affaires par l’API plutôt qu’au grand public.

> **À essayer :** choisissez un document que vous connaissez très bien, comme une nouvelle ou un guide de l’employé. Modifiez une phrase de façon discrète mais significative. Écrivez ensuite la question exacte que vous poseriez à une IA pour trouver le changement, et décidez comment vous vérifieriez si sa réponse est juste.

## Comment bien utiliser une très longue fenêtre de contexte?

Commencez par une tâche claire avant de coller quoi que ce soit. Une longue fenêtre vous permet d’inclure beaucoup de choses, mais le modèle doit quand même savoir ce que vous voulez : un résumé pour un gestionnaire, une liste de risques, ou les réponses à cinq questions précises. Placez les consignes près du début, décrivez brièvement les documents et dites quel format vous voulez en retour.

Posez des questions qui utilisent tout le texte. Une longue fenêtre brille quand la réponse dépend de plusieurs endroits à la fois : « Sur quels points ces deux contrats divergent-ils? » ou « Quels chapitres mentionnent le budget, et comment les chiffres évoluent-ils? » Pour un seul fait sur une seule page, un court extrait est plus rapide et moins coûteux.

Enfin, vérifiez les réponses. Demandez à Claude d’indiquer la section ou la citation sur laquelle il s’est appuyé, puis allez la vérifier vous-même. Un modèle capable de lire 75 000 mots en moins d’une minute peut quand même mal en lire un; traitez donc sa réponse comme un premier jet rapide d’un assistant compétent, et gardez votre propre jugement pour la décision finale.

## Sources

- Introducing 100K Context Windows: https://www.anthropic.com/index/100k-context-windows
- Anthropic's latest model can take 'The Great Gatsby' as input: https://techcrunch.com/2023/05/11/anthropics-latest-model-can-take-the-great-gatsby-as-input/
- Introducing Claude: https://www.anthropic.com/news/introducing-claude