Qu’est-ce que Claude 3, et comment choisir entre Opus, Sonnet et Haiku?

Hier, le 4 mars 2024, Anthropic a annoncé Claude 3, la troisième génération de son assistant IA. Au lieu d’un seul nouveau modèle, c’est une famille de trois, du plus petit au plus grand : Haiku, Sonnet et Opus. Chaque échelon est plus performant, mais aussi plus lent et plus coûteux à faire tourner : vous pouvez donc choisir l’équilibre entre intelligence, vitesse et coût qui convient à une tâche.

Deux modèles sont offerts dès aujourd’hui. Sonnet alimente maintenant la version gratuite de claude.ai, et Opus est offert aux abonnés de Claude Pro. Les deux sont aussi dans l’API d’Anthropic, désormais offerte à tous, ce qui veut dire que les développeurs peuvent s’inscrire et commencer tout de suite, dans 159 pays. Haiku arrive bientôt.

Les trois modèles côte à côte

Un jeton est un petit morceau de texte, souvent une partie de mot; un million de jetons équivaut à environ 750 000 mots. L’« entrée » est ce que vous envoyez au modèle, la « sortie » est ce qu’il vous renvoie. Les prix concernent surtout les développeurs; sur claude.ai, vous ne payez rien ou vous payez l’abonnement Pro.

La vitesse diffère aussi. Anthropic affirme que Sonnet est environ deux fois plus rapide que Claude 2 et 2.1 pour la plupart des tâches, tandis qu’Opus tourne à peu près à la même vitesse que ces modèles, mais en étant beaucoup plus intelligent. Haiku, selon l’entreprise, peut lire en moins de trois secondes un article de recherche dense d’environ 10 000 jetons, graphiques compris.

Les nouveautés de Claude 3

Il voit. Pour la première fois, Claude peut recevoir des images, comme le souligne Tom’s Guide. Les trois modèles peuvent lire des photos, des graphiques, des diagrammes et des schémas techniques. Anthropic note que certains clients d’affaires conservent jusqu’à la moitié de leurs connaissances dans des PDF, des organigrammes et des diapositives, que les modèles Claude précédents ne pouvaient pas interpréter.

De meilleurs résultats aux bancs d’essai. Dans la comparaison d’Anthropic, Opus surpasse les autres modèles offerts sur la plupart des tests standard, dont MMLU (connaissances de niveau universitaire de premier cycle), GPQA (raisonnement de niveau des cycles supérieurs) et GSM8K (mathématiques du primaire). Tom’s Guide note que la comparaison se fait avec GPT-4 d’OpenAI, qui a environ un an, et avec Gemini 1.0 Ultra de Google. Anthropic précise aussi que certains modèles plus récents, comme Gemini 1.5 Pro, annoncé par Google, ne sont comparés que dans sa fiche technique du modèle (model card).

Moins de refus inutiles. Les modèles Claude précédents refusaient parfois des demandes inoffensives qui avaient seulement l’air risquées. Anthropic affirme que les trois modèles Claude 3 refusent ces prompts limites beaucoup moins souvent, tout en reconnaissant les vrais dangers.

Des réponses plus exactes. Sur un grand ensemble de questions factuelles difficiles, Anthropic rapporte qu’Opus donne des réponses correctes environ deux fois plus souvent que Claude 2.1 et donne moins de réponses fausses. Elle affirme que les modèles admettent mieux quand ils ne savent pas, et que des citations renvoyant aux phrases exactes de vos documents arriveront bientôt.

Une longue mémoire pour les documents. Chaque modèle part d’une fenêtre de contexte de 200 000 jetons, soit la quantité de texte qu’il peut considérer d’un coup, environ un long roman. Anthropic affirme que les modèles peuvent accepter plus d’un million de jetons et pourraient offrir cette capacité à certains clients. Dans un test de l’« aiguille dans une botte de foin », où une phrase cachée doit être retrouvée dans une énorme collection de documents, Opus l’a retrouvée plus de 99 % du temps. Lors de certains essais, il a même fait remarquer que la phrase semblait avoir été insérée artificiellement.

Un meilleur respect des consignes. Les modèles suivent de façon plus fiable des consignes complexes à plusieurs étapes et produisent des formats structurés comme le JSON, ce qui aide quand les réponses de Claude alimentent d’autres logiciels.

Sécurité

Anthropic affirme que la famille Claude 3 reste au niveau AI Safety Level 2 (ASL-2) de sa Responsible Scaling Policy (politique de mise à l’échelle responsable), son cadre qui associe des mesures de protection plus strictes à des capacités plus dangereuses. Ses évaluations par une équipe rouge (red team) ont conclu à un potentiel négligeable de risque catastrophique à ce stade. L’entreprise rapporte moins de biais que dans les modèles précédents sur un test standard appelé BBQ, et continue d’entraîner ses modèles avec la Constitutional AI (IA constitutionnelle), sa méthode qui guide un modèle à l’aide d’un ensemble écrit de principes.

Pourquoi c’est important

Claude 3 donne aux utilisateurs ordinaires un modèle gratuit plus puissant et, avec Opus, un concurrent direct des forfaits payants des autres robots conversationnels. La lecture d’images comble l’un des principaux écarts entre Claude et ses rivaux. Pour les développeurs, trois niveaux de prix permettent d’utiliser le modèle le moins cher qui fait le travail, et de réserver le plus performant aux problèmes difficiles.

Anthropic prévoit des mises à jour fréquentes de la famille au cours des prochains mois, ainsi que l’utilisation d’outils (aussi appelée appel de fonctions, ou function calling), la programmation interactive et des capacités plus proches de celles d’un agent.

Voici une photo d’un graphique tiré du rapport mensuel de mon équipe.
1. Décris ce que mesure le graphique et la période couverte.
2. Énumère les trois tendances les plus importantes, avec les chiffres que tu lis.
3. Dis-moi tout ce dont tu n’es pas sûr ou que tu ne peux pas lire clairement.

Par quel modèle Claude 3 devriez-vous commencer?

La plupart des gens devraient commencer avec Sonnet, sur la version gratuite de claude.ai. Il s’en tire bien pour la rédaction, les résumés, les explications et les questions sur des images au quotidien, et il ne coûte rien. Utilisez-le pour vos vraies tâches pendant une semaine et notez où il a du mal.

Passez à Opus, avec Claude Pro, si votre travail exige un raisonnement long et complexe : analyser des contrats ou des travaux de recherche, planifier en plusieurs étapes, écrire du code difficile ou travailler avec soin sur de nombreux documents. Comparez ses réponses à celles de Sonnet pour le même prompt avant de décider que l’abonnement en vaut la peine.

Si vous êtes développeur, raisonnez en coût par tâche. Faites un prototype avec Opus ou Sonnet pour voir quelle qualité est possible, puis vérifiez si Sonnet, ou Haiku quand il arrivera, donne des résultats suffisants pour une fraction du prix. Quel que soit le modèle utilisé, demandez-lui d’indiquer le passage sur lequel il s’appuie, et vérifiez tout ce qui compte.