# Quoi de neuf dans Claude 2.1, et que permet sa fenêtre de 200 000 jetons?

Date: 2023-11-22 · Author: Robert Scales · https://guidetoartificialintelligence.com/fr/apprendre/nouveautes-claude-2-1/

**Answer:** Claude 2.1 est une nouvelle version du modèle d’IA d’Anthropic, lancée le 21 novembre 2023, qui peut lire jusqu’à 200 000 jetons d’un coup, soit environ 150 000 mots ou plus de 500 pages, deux fois plus que Claude 2.0. Anthropic affirme qu’il fait aussi deux fois moins de fausses affirmations, et il ajoute les prompts système et une fonction bêta d’utilisation d’outils qui permet à Claude d’appeler des calculatrices, des moteurs de recherche et d’autres logiciels.

Hier, Anthropic a lancé Claude 2.1, une mise à jour du modèle d’IA qui alimente son service de clavardage claude.ai et son API pour les développeurs. La grande nouvelle, c’est la taille : Claude peut maintenant recevoir environ 200 000 jetons d’un coup, assez pour un long roman ou une pile de rapports financiers. Anthropic affirme aussi que le nouveau modèle est nettement plus honnête, et elle donne aux développeurs deux nouvelles commandes : les prompts système et l’utilisation d’outils.

Claude 2.1 est offert dès aujourd’hui. Il alimente claude.ai, dans la version gratuite comme dans le forfait payant Pro, et les développeurs peuvent l’utiliser par l’API d’Anthropic et sa Console, le tableau de bord Web où ils gèrent leur accès. La fenêtre complète de 200 000 jetons dans l’application de clavardage est réservée aux abonnés de Pro.

## Qu’est-ce qui a changé?

| Fonction | Claude 2.0 | Claude 2.1 |
|---|---|---|
| Fenêtre de contexte | 100 000 jetons | 200 000 jetons (environ 150 000 mots, plus de 500 pages) |
| Fausses affirmations sur des questions factuelles difficiles | Référence | Environ deux fois moins, selon Anthropic |
| Mauvaises réponses sur de longs documents | Référence | 30 % de moins, selon Anthropic |
| Prompts système | Non | Oui |
| Utilisation d’outils | Non | Bêta, pour les développeurs |

Un **jeton** est un morceau de texte, souvent un mot court ou une partie d’un mot plus long. La **fenêtre de contexte** est la quantité de texte qu’un modèle peut considérer dans une seule requête : votre question, les documents que vous joignez et sa réponse. Anthropic donne des exemples de ce qui y tient maintenant : tout le code source d’un programme, le S-1 d’une entreprise (le long document qu’une entreprise dépose avant d’entrer en bourse) ou un long classique comme *L’Iliade*.

À titre de comparaison, The Verge souligne que la version la plus coûteuse de GPT-4 d’OpenAI plafonne à 32 000 jetons. Anthropic présente le traitement de 200 000 jetons comme une première dans l’industrie.

Il y a un compromis. Anthropic note que traiter un message aussi long est exigeant, et qu’une tâche qui pourrait prendre des heures à une personne peut prendre quelques minutes à Claude. Elle s’attend à ce que cette attente diminue à mesure que la technologie s’améliore.

## Des réponses plus honnêtes

Les modèles de langage ont parfois des **hallucinations** : ils affirment des choses qui semblent justes, mais qui sont fausses. Anthropic affirme que Claude 2.1 le fait deux fois moins souvent que Claude 2.0.

Pour le vérifier, l’entreprise a constitué un grand ensemble de questions factuelles pièges qui visent des points faibles connus. Elle a ensuite noté les réponses selon une grille qui distingue une affirmation fausse d’un aveu honnête d’incertitude. Son exemple : quand on lui demande quelle est la cinquième ville la plus peuplée de Bolivie, un modèle peut soit nommer la mauvaise ville avec assurance, soit dire qu’il n’est pas sûr. Claude 2.1 était beaucoup plus susceptible de choisir la deuxième option.

Anthropic rapporte des gains semblables avec de longs documents comme des contrats, des rapports financiers et des spécifications techniques : 30 % moins de réponses inexactes, et de trois à quatre fois moins de cas où le modèle conclut à tort qu’un document appuie une affirmation. Ce dernier point compte, parce qu’un « oui, le contrat le dit » assuré qui se révèle faux peut être pire que pas de réponse du tout.

## Prompts système et utilisation d’outils

Un **prompt système** est une consigne permanente donnée au modèle avant le début de la conversation. Il fixe le rôle, le ton ou le format, et le modèle s’y tient du début à la fin. Par exemple :

```prompt
Tu es un assistant rigoureux pour un petit cabinet comptable. Réponds uniquement à partir des documents fournis. Si les documents ne contiennent pas la réponse, dis-le clairement. Garde tes réponses sous 150 mots et utilise un langage simple pour les clients.
```

L’**utilisation d’outils** permet à Claude de travailler avec d’autres logiciels. Un développeur décrit un ensemble d’outils, comme une calculatrice, une recherche dans une base de données, un service de recherche Web ou un système interne de l’entreprise, et Claude décide de celui dont une demande a besoin et demande qu’on l’exécute. Parmi les exemples d’Anthropic : traduire une demande en langage courant en un appel structuré à un autre programme, consulter des données sur des produits pour faire des recommandations, et faire des calculs complexes avec une calculatrice au lieu de deviner. La fonction en est aux premiers stades de développement, et Anthropic demande aux développeurs de donner leur avis.

Les développeurs ont aussi droit à un nouveau **Workbench** dans la Console, un endroit pour rédiger et tester des prompts, en garder plusieurs versions et transformer un prompt qui fonctionne en code pour leurs applications.

> **À essayer :** prenez un long document que vous connaissez bien, comme un bail, un manuel ou un procès-verbal de réunions. Posez trois questions à Claude à son sujet : une à laquelle le document répond clairement, une à laquelle il ne répond qu’indirectement, et une à laquelle il ne répond pas du tout. Vérifiez si Claude répond « je ne sais pas » à la troisième plutôt que d’inventer quelque chose.

## Pourquoi est-ce important?

Pour les utilisateurs ordinaires, une fenêtre plus grande veut dire moins de contournements. Au lieu de découper un long rapport en morceaux et de poser des questions sur chacun, vous pouvez donner le tout à Claude et poser des questions qui couvrent l’ensemble, comme comparer le premier chapitre avec le dernier.

Pour les entreprises, les chiffres sur l’honnêteté comptent peut-être encore plus. Les entreprises hésitent à mettre l’IA devant leurs clients ou à l’utiliser pour des travaux juridiques et financiers quand elle risque d’inventer des faits. Anthropic présente Claude 2.1 comme une réponse directe à cette inquiétude, tout en affirmant que l’exactitude reste une priorité absolue sur laquelle elle continue de travailler.

The Verge voit en particulier dans l’utilisation d’outils une étape qui rapproche Claude de ce que ChatGPT peut faire.

## Comment tirer le meilleur parti du long contexte de Claude 2.1?

Commencez par une tâche claire. Un long contexte permet à Claude de tout voir, mais il fonctionne quand même mieux quand vous dites exactement ce que vous voulez : « Énumère chaque échéance de ce contrat avec le numéro de sa clause » fonctionne mieux que « Qu’est-ce qui est important ici? »

Demandez à Claude d’indiquer d’où viennent ses réponses, comme une section, une page ou une phrase citée, et vérifiez-en quelques-unes au hasard. Les améliorations d’Anthropic réduisent les erreurs; elles ne les éliminent pas. Donner explicitement à Claude la permission de dire « le document ne le dit pas » aide aussi.

Enfin, soyez patient avec les très longs textes. Un téléversement de 500 pages peut prendre quelques minutes à traiter. Si vous n’avez besoin que d’un chapitre, envoyer seulement ce chapitre est plus rapide et donne souvent une réponse plus précise.

## Sources

- Introducing Claude 2.1: https://www.anthropic.com/news/claude-2-1
- OpenAI rival Anthropic makes its Claude chatbot even more useful: https://www.theverge.com/2023/11/21/23971070/anthropic-claude-2-1-openai-ai-chatbot-update-beta-tools