Comment utiliser un outil d’amélioration de prompts?

Écrire un bon prompt demande de la pratique, et les habitudes qui fonctionnent bien avec un modèle ne se transposent pas toujours à un autre. Un outil d’amélioration de prompts confie une partie de ce travail au modèle lui-même. Vous collez le prompt que vous utilisez aujourd’hui, l’outil le réécrit selon les bonnes pratiques de rédaction de prompts, et vous obtenez en retour une version plus longue et plus structurée.

Anthropic en a ajouté un à sa Console, l’espace de travail Web où les développeurs écrivent et testent des prompts pour Claude, le 14 novembre. Ce prompt improver (outil d’amélioration de prompts) côtoie des outils que la Console a reçus en juillet : un générateur de prompts qui rédige un prompt à partir d’une description de tâche en une ligne, et un onglet Evaluate qui fait tourner un prompt sur de nombreuses entrées de test à la fois. Ensemble, ils forment une boucle : améliorer, tester, comparer, décider.

Ce que l’outil change

Anthropic énumère cinq choses que l’outil fait à un prompt :

Après la réécriture, vous pouvez taper un commentaire, comme « les résumés sont encore trop longs », et demander une autre passe. Anthropic rapporte que, dans ses propres tests, le prompt amélioré a augmenté l’exactitude de 30 % sur une tâche de classification et amené une tâche de résumé à respecter une limite de mots à 100 %. Ce sont les résultats de l’entreprise sur ses propres tests; les vôtres dépendront de votre tâche.

Un exemple avant-après

Supposons que vous ayez une petite boutique en ligne et que vous utilisiez Claude pour classer les courriels des clients dans l’une de quatre catégories : livraison, retours, question sur un produit ou autre. Votre prompt actuel est court :

Classe ce courriel de client dans l’une de ces catégories : livraison, retours, question sur un produit ou autre. Réponds seulement par la catégorie.

{{EMAIL}}

Les doubles accolades marquent une variable : la Console y insère un courriel différent pour chaque test. Voici comment l’améliorer et le tester, étape par étape.

1. Constituez d’abord un jeu de tests. Dans l’onglet Evaluate de la Console, ajoutez 20 vrais courriels (dont vous avez retiré les renseignements personnels) et inscrivez la bonne catégorie pour chacun. Vous pouvez aussi demander à Claude de générer des cas de test, mais incluez-en de vrais : ils contiennent la formulation désordonnée qu’emploient réellement vos clients.
2. Lancez le prompt original sur les 20 et notez combien de réponses sont justes.
3. Ouvrez l’outil d’amélioration, collez le prompt et décrivez ce qui ne va pas, par exemple : « Il classe "Où est mon remboursement?" dans livraison au lieu de retours. »
4. Lisez la nouvelle version avant de la tester. Un résultat typique, présenté ici à titre d’exemple sous forme d’extrait, ressemble à ceci :

Tu vas classer un courriel de client dans une seule catégorie.

<categories>
livraison : délais de livraison, suivi, colis perdus ou en retard
retours : renvoi d’articles, remboursements, échanges
question sur un produit : tailles, matériaux, façon d’utiliser un article
autre : tout le reste
</categories>

<email>
{{EMAIL}}
</email>

D’abord, dans des balises <thinking>, note la demande principale du client et la catégorie qui lui convient.
Ensuite, donne ta réponse dans des balises <category>.

1. Lancez le prompt amélioré sur les mêmes 20 courriels et comparez les deux colonnes côte à côte. La Console peut afficher les sorties de deux versions de prompt ou plus l’une à côté de l’autre, et vous pouvez noter chaque réponse sur une échelle de 5 points ou par rapport à une « sortie idéale » que vous inscrivez.
2. Mettez votre code à jour si vous adoptez la nouvelle version. Le prompt amélioré place la réponse dans des balises <category> après un bloc de raisonnement : le programme qui lit la réponse de Claude doit donc en extraire seulement le contenu de la balise.

Exemple de résultat : le prompt original obtient 15 bonnes réponses sur 20 et le prompt amélioré 18, avec les courriels de remboursement maintenant au bon endroit. Sur cette base, vous feriez le changement.

Quand le prompt amélioré est-il en fait moins bon?

Quand il règle un problème que vous n’aviez pas. L’outil ajoute par défaut de la structure et du raisonnement, et cela a un coût. Une section de raisonnement allonge chaque réponse, ce qui veut dire plus de jetons (les petites unités de texte que vous payez) et des réponses plus lentes. Pour une tâche qui fonctionnait déjà, comme une simple vérification par oui ou non qui tourne des milliers de fois par jour, un prompt plus long peut faire grimper votre facture et votre temps de réponse sans aucun gain d’exactitude.

Il peut aussi briser le code qui l’entoure. Si votre programme attend un seul mot et que le nouveau prompt renvoie un raisonnement suivi d’une réponse balisée, votre application plantera tant que vous n’aurez pas changé la façon dont elle lit la réponse. Et une réécriture peut, sans bruit, laisser tomber ou adoucir une règle qui comptait pour vous, comme « ne jamais mentionner les prix », parce qu’elle a réorganisé les consignes. Lisez le nouveau prompt ligne par ligne en le comparant à l’ancien avant de le tester.

Enfin, le prompt amélioré est moins bon chaque fois que votre test le dit. Un prompt peut avoir l’air plus professionnel et quand même obtenir un moins bon score sur vos propres exemples, surtout si les exemples ajoutés par l’outil poussent le modèle vers des cas rares dans vos données réelles. C’est pourquoi le jeu de tests passe en premier. Gardez les deux versions, lancez-les sur les mêmes entrées et laissez le décompte trancher. Si les scores sont égaux, gardez le prompt le plus court : il coûte moins cher à faire tourner et il est plus facile à entretenir.