Qu’est-ce que Claude 3.5 Sonnet, et que sont les Artifacts?

Hier, jeudi 20 juin 2024, Anthropic a lancé Claude 3.5 Sonnet, le premier modèle d’une nouvelle famille Claude 3.5. On peut l’utiliser gratuitement sur claude.ai et dans l’application Claude pour iPhone, et les développeurs peuvent y accéder par l’API d’Anthropic ainsi que par Amazon Bedrock et Vertex AI de Google Cloud, deux plateformes infonuagiques qui hébergent des modèles d’IA.

Le même jour, Anthropic a ajouté à claude.ai une fonction appelée Artifacts. Au lieu d’enfouir un bout de code ou un document au milieu d’une longue conversation, Claude peut maintenant le placer dans sa propre fenêtre à côté de la conversation, où vous pouvez voir le résultat et continuer à y travailler.

Un modèle de taille moyenne qui bat le plus grand

Anthropic classe ses modèles par taille. Haiku est le plus petit et le plus rapide, Sonnet est l’option intermédiaire, et Opus est le plus grand et le plus performant. En mars, Anthropic a lancé Claude 3 Opus comme son modèle le plus performant. La surprise de cette semaine, c’est que le nouveau modèle intermédiaire surpasse l’ancien modèle de pointe.

Anthropic affirme que Claude 3.5 Sonnet bat Claude 3 Opus et les modèles concurrents sur un large éventail de tests, à la vitesse et au prix de Claude 3 Sonnet. Il est environ deux fois plus rapide que Claude 3 Opus. Anthropic rapporte de nouveaux records sur trois bancs d’essai bien connus : GPQA, un ensemble de questions scientifiques difficiles de niveau des cycles supérieurs; MMLU, un vaste test de connaissances dans de nombreuses matières; et HumanEval, qui vérifie si un modèle peut écrire du code informatique qui fonctionne. The Verge, en examinant les graphiques d’Anthropic, note que le modèle a obtenu de meilleurs résultats que GPT-4o d’OpenAI, Gemini 1.5 Pro de Google et une première version du plus grand modèle Llama 3 de Meta sur sept des neuf bancs d’essai généraux et quatre des cinq bancs d’essai de vision, tout en rappelant que les entreprises choisissent les bancs d’essai qu’elles montrent.

Voici les principaux faits en un seul endroit :

Un jeton est un petit morceau de texte, souvent une partie de mot. La fenêtre de contexte est la quantité de texte que le modèle peut considérer d’un coup; 200 000 jetons suffisent donc pour un long rapport ou un court livre.

Ce qu’il fait mieux

La programmation. Anthropic a mené un test interne dans lequel le modèle reçoit un vrai projet logiciel à code source ouvert et une demande en langage courant pour corriger un bogue ou ajouter une fonction. Claude 3.5 Sonnet a résolu 64 % des problèmes; Claude 3 Opus en a résolu 38 %. Avec les bons outils, selon Anthropic, le modèle peut écrire, modifier et exécuter du code de lui-même et venir à bout des erreurs. Il est aussi doué pour la traduction de code, c’est-à-dire réécrire des programmes d’un langage ou d’un style à un autre, ce qui aide les entreprises à moderniser de vieux logiciels.

La vision. C’est le meilleur modèle d’Anthropic à ce jour pour comprendre les images. Les gains se voient surtout en raisonnement visuel, comme lire un graphique et expliquer ce qu’il montre, et dans la transcription de texte à partir de photos floues ou imparfaites.

L’écriture. Anthropic affirme que le modèle saisit mieux les nuances, l’humour et les consignes compliquées, et qu’il écrit sur un ton plus naturel.

Comment fonctionnent les Artifacts

Jusqu’ici, travailler avec un robot conversationnel sur quelque chose d’important voulait dire copier ce qu’il produisait dans un autre programme pour bien le voir. Les Artifacts éliminent cette étape. Quand vous demandez à Claude quelque chose d’autonome, comme un bloc de code, un document ou une maquette de site Web simple, le résultat apparaît dans un panneau distinct à côté de la conversation. Vous pouvez le regarder, demander des changements dans la conversation et voir le panneau se mettre à jour.

Un exemple rapide :

Crée un site Web simple d’une page pour une vente de pâtisseries de quartier, samedi à 10 h. Inclus un titre, une liste de six pâtisseries avec leurs prix, et une courte note indiquant que les profits iront à la bibliothèque de l’école. Utilise des couleurs chaleureuses.

La conversation explique ce que Claude a fait; le panneau Artifacts montre la page elle-même. Enchaînez avec « agrandis les prix » ou « ajoute un espace réservé pour une carte », et le panneau change. The Verge donne un autre cas de tous les jours : si Claude rédige un courriel, vous pouvez le modifier directement dans l’application Claude.

Anthropic présente les Artifacts comme un aperçu et les décrit comme un pas d’un assistant conversationnel vers un espace de travail partagé. L’entreprise affirme que claude.ai prendra bientôt en charge les équipes, pour que des groupes, puis des organisations entières, puissent rassembler leurs fichiers, leur savoir-faire et leurs projets dans un même espace partagé, avec Claude comme coéquipier sur demande.

Sécurité, confidentialité et suite

Anthropic classe ses modèles selon sa propre échelle d’AI Safety Levels (niveaux de sécurité de l’IA), et affirme que Claude 3.5 Sonnet reste au niveau 2 (ASL-2) malgré ses progrès. Avant le lancement, l’AI Safety Institute du Royaume-Uni a testé le modèle et communiqué ses résultats à son homologue américain. Anthropic affirme aussi qu’elle n’entraîne pas ses modèles sur ce que les utilisateurs soumettent, à moins qu’ils l’autorisent explicitement, et que jusqu’ici, elle n’a pas utilisé les données de ses clients ou de ses utilisateurs pour l’entraînement.

Anthropic prévoit de compléter la famille 3.5 avec un Haiku plus petit et un Opus plus grand plus tard cette année, et explore une fonction de mémoire qui permettrait à Claude de se souvenir des préférences d’une personne quand elle le lui demande.

Pourquoi c’est important

Trois mois après Claude 3 Opus, Anthropic a un modèle à prix intermédiaire qui, selon elle, égale ou dépasse les meilleurs d’OpenAI et de Google. Pour les personnes qui utilisent la version gratuite de claude.ai, ça veut dire un assistant nettement plus fort, sans frais. Pour les développeurs, des résultats de premier plan à un prix intermédiaire changent le calcul quand on bâtit une application. Les Artifacts comptent autant que le modèle : ils laissent entrevoir que les assistants conversationnels deviennent des endroits où l’on crée et révise des choses, pas seulement où l’on pose des questions.

Comment commencer à utiliser Claude 3.5 Sonnet et les Artifacts dès aujourd’hui?

Allez sur claude.ai ou ouvrez l’application Claude pour iOS et connectez-vous; Claude 3.5 Sonnet est offert aux utilisateurs gratuits, avec des limites d’utilisation plus élevées dans les forfaits payants Pro et Team. Commencez par une tâche dont vous pouvez juger le résultat : un graphique tiré d’un tableur que vous connaissez, un bout de code que vous pouvez exécuter, ou un document que vous pouvez vérifier.

Pour les Artifacts, demandez quelque chose d’autonome et de visuel, comme une page Web, un schéma ou un document mis en forme, puis peaufinez-le étape par étape dans la conversation. Les développeurs peuvent appeler le modèle par l’API d’Anthropic, Amazon Bedrock ou Vertex AI. Comparez ses réponses et ses coûts avec ceux du modèle que vous utilisez maintenant sur quelques exemples réels avant de changer.