En quoi Claude 3 Opus, Sonnet et Haiku diffèrent-ils?

Quand Anthropic a annoncé Claude 3 le 4 mars, elle a lancé deux des trois modèles sur-le-champ et promis le plus petit pour bientôt. Le 13 mars, Claude 3 Haiku est arrivé dans l’API et sur claude.ai pour les abonnés de Pro : toute la famille peut donc maintenant être comparée côte à côte. Pour la plupart des gens, la question n’est plus « qu’est-ce que Claude 3? », mais « lequel devrais-je affecter à cette tâche? ».

Anthropic présente elle-même la famille comme une échelle : Haiku, Sonnet et Opus, par ordre croissant de capacité. Chaque échelon est plus intelligent, plus lent et plus coûteux. Bien choisir, c’est faire correspondre l’échelon à la tâche au lieu de toujours viser le sommet.

Les trois modèles en un tableau

Les prix sont ceux de l’API et se comptent en jetons, les morceaux de mots que les modèles lisent et écrivent. L’entrée est ce que vous envoyez; la sortie est ce que le modèle vous renvoie.

Les trois acceptent des images comme des photos, des graphiques et des diagrammes, et tous partent d’une fenêtre de contexte de 200 000 jetons, la quantité de texte qu’ils peuvent considérer d’un coup.

Ce que l’écart de prix veut dire en pratique

L’écart de prix est important : Opus coûte 60 fois plus cher que Haiku par jeton. Un exemple concret montre ce que cela signifie pour une tâche. Disons que vous résumez un rapport d’environ 10 000 jetons (environ 7 500 mots) en un résumé de 500 jetons.

• Haiku : 10 000 × 0,25 $ US par million + 500 × 1,25 $ US par million ≈ 0,003 $ US
• Sonnet : 10 000 × 3 $ US par million + 500 × 15 $ US par million ≈ 0,04 $ US
• Opus : 10 000 × 15 $ US par million + 500 × 75 $ US par million ≈ 0,19 $ US

Pour un seul rapport, aucun de ces montants n’a d’importance. Pour 10 000 rapports par mois, c’est environ 30 $ US contre 1 900 $ US. C’est pourquoi Anthropic destine Haiku aux entreprises qui traitent de grands volumes de documents, et pourquoi Opus a du sens quand une seule réponse doit être la meilleure possible.

Sur le plan de la qualité, Anthropic rapporte qu’Opus bat GPT-4 d’OpenAI et Gemini 1.0 Ultra de Google sur plusieurs bancs d’essai courants, dont le raisonnement de niveau des cycles supérieurs et les mathématiques du primaire. Comme l’a souligné Tom’s Guide, cette comparaison se fait avec un modèle GPT-4 qui a un an. Les bancs d’essai sont un point de départ; vos propres tâches sont le vrai test.

Un test en trois tâches à faire vous-même

La meilleure façon de choisir est de donner aux trois modèles le même petit ensemble de tâches qui ressemblent à votre vrai travail. Les abonnés de Claude Pro peuvent utiliser les trois modèles sur claude.ai, et les développeurs peuvent appeler n’importe lequel par l’API. Voici un ensemble qui les départage bien :

Tâche 1 (rapide) : Réécris ce courriel de client sous forme de réponse polie de deux phrases
qui confirme le remboursement et ne fait aucune nouvelle promesse : [colle le courriel]

Tâche 2 (structurée) : À partir du texte ci-dessous, extrais chaque date, chaque montant et
chaque nom de personne dans un tableau de trois colonnes. [colle une page de notes]

Tâche 3 (difficile) : Voici deux courtes propositions. Compare leurs risques, dis quelles
hypothèses sont les plus faibles dans chacune et recommandes-en une en 150 mots.
[colle les deux]

Notez chaque réponse de 1 à 5 pour l’exactitude et l’utilité, et notez combien de temps vous avez attendu. Dans un essai typique, donné à titre d’exemple, les trois s’en tirent bien avec la première tâche, Haiku est nettement le plus rapide sur les deux premières, et l’écart de qualité n’apparaît qu’à la troisième, où Opus est plus susceptible de repérer une hypothèse faible.

Lequel utiliser pour quelle tâche?

Utilisez Haiku pour du travail à grand volume, bien défini, où la vitesse compte : répondre aux questions courantes dans une fenêtre de clavardage, trier ou étiqueter des messages, traduire de courts textes et extraire des données structurées de documents ou d’images. C’est aussi le choix sensé quand vous bâtissez quelque chose qui tournera des milliers de fois par jour.

Utilisez Sonnet comme choix par défaut au quotidien. Il alimente la version gratuite de claude.ai, il est rapide, et il s’en tire bien pour rédiger, résumer, aider à programmer et répondre à des questions sur de longs documents. Si vous ne savez pas par quel modèle commencer, commencez par celui-là.

Utilisez Opus quand la tâche est ouverte, comporte de nombreuses étapes ou quand une réponse faible coûterait cher : analyser un contrat ou un article de recherche dense, planifier un projet complexe ou raisonner sur une décision délicate. Si vous êtes abonné à Claude Pro, une bonne habitude consiste à rédiger avec Sonnet et à passer à Opus seulement pour les parties où vous avez besoin de son jugement supplémentaire.