Qu’est-ce que le méta-prompting, et devriez-vous laisser l’IA écrire votre prompt?

Un prompt est la consigne que vous donnez à un modèle de langage. Un méta-prompt est un prompt qui porte sur des prompts : vous décrivez votre tâche, et le modèle écrit une consigne détaillée qu’une autre conversation, ou un autre modèle, suivra. L’idée semble tourner en rond, mais elle règle un vrai problème. Bien des gens savent ce qu’ils veulent et restent quand même figés devant une case vide, sans savoir combien de détails donner ni comment les organiser.

Les chercheurs étudient la question depuis un moment. Dans un article de 2022, Yongchao Zhou et six coauteurs ont décrit Automatic Prompt Engineer (APE), une méthode où un modèle propose de nombreuses consignes candidates et où celle qui obtient le meilleur score sur des exemples de test l’emporte. Sur 24 tâches de langage, les consignes retenues ont égalé ou battu celles écrites par des humains dans 19 cas. Ce résultat ne veut pas dire qu’un modèle écrit toujours de meilleurs prompts que vous; il veut dire qu’un modèle peut produire des candidats utiles, et que les tests permettent de choisir les bons.

Ce que fait le métaprompt d’Anthropic

En mars, Anthropic a publié un « métaprompt » expérimental pour ses modèles Claude, avec un carnet (notebook) dans son cookbook public sur GitHub. Pour l’exécuter, il faut une clé d’API Anthropic, le code d’accès que les développeurs utilisent pour appeler Claude à partir de leur propre code. Vous tapez une tâche en mots simples et, si vous le souhaitez, vous nommez les entrées que le prompt devra accepter, écrites en majuscules, comme DOCUMENT ou QUESTION. Claude renvoie alors un modèle de prompt complet.

En coulisse, le métaprompt est lui-même un long prompt rempli d’environ six exemples de prompts bien construits, d’un agent de soutien à la clientèle qui ne peut répondre qu’à partir de la FAQ d’une entreprise jusqu’à un tuteur de mathématiques patient. En voyant ces exemples, Claude écrit quelque chose dans le même style pour votre tâche : des règles claires, des espaces réservés pour vos entrées et, souvent, la demande de trouver des éléments probants ou de réfléchir dans des sections balisées avant de répondre.

Anthropic est franche quant aux limites. Le carnet est conçu pour des questions et réponses uniques, pas pour de longues conversations, et il est optimisé pour Claude 3 Opus, le plus grand modèle. Il prévient aussi que le prompt obtenu n’est pas forcément le meilleur et vous encourage à le modifier. L’entreprise le présente comme un remède à la page blanche et comme une façon rapide de produire plusieurs versions à tester.

Un exemple concret : des notes de réunion aux actions à faire

Vous n’avez pas besoin du carnet pour essayer l’idée. N’importe quel robot conversationnel performant peut jouer le même rôle. Supposons que vous vouliez un prompt réutilisable qui transforme des notes de réunion brutes en liste d’actions à faire.

Demandez le prompt :

Je veux un prompt réutilisable qui transforme des notes de réunion brutes en une liste d’actions à faire. Les notes sont tapées vite, avec des abréviations et des mots manquants. Chaque action doit avoir un responsable, une tâche et une échéance si on en a mentionné une. Écris-moi le prompt. Utilise {NOTES} là où iront les notes. Inclus des règles pour les cas où le responsable ou l’échéance n’est pas clair.

Une réponse pourrait ressembler à ceci (à titre d’illustration) :

Tu recevras des notes de réunion informelles entre des balises <notes>.
<notes>{NOTES}</notes>
1. Lis les notes et énumère chaque engagement pris par quelqu’un.
2. Pour chacun, écris : Responsable | Tâche (commence par un verbe) | Échéance.
3. Si le responsable n’est pas clair, écris « Responsable : ? » et cite la ligne d’où vient l’engagement.
4. Si aucune échéance n’a été donnée, écris « aucune indiquée ». N’invente jamais de date.
5. N’inclus pas les points de discussion qui n’étaient pas des engagements.
Renvoie seulement le tableau.

Votre propre version, écrite à la main en deux minutes, pourrait être : « Tire les actions à faire de ces notes sous forme de tableau, avec responsable, tâche et échéance. » Elle est plus courte et tout à fait raisonnable.

Testez maintenant les deux sur les trois mêmes ensembles de notes : un bien ordonné, un désordonné et un sans responsables clairs. Les résultats ci-dessous sont donnés à titre d’illustration, mais ils montrent le genre de différence à chercher :

La version écrite par l’IA l’emporte ici parce qu’elle a prévu les cas délicats. C’est la principale force du méta-prompting : le modèle pense à des règles que vous n’auriez peut-être pas écrites.

Devriez-vous la laisser l’écrire?

Pour une question ponctuelle, généralement pas : une demande simple et une ou deux relances iront plus vite. Pour une tâche que vous allez répéter, ou un prompt que vous partagerez avec des collègues ou intégrerez à un outil, une ébauche générée est un bon départ. Le risque, c’est qu’un prompt long et assuré ait l’air terminé. Il peut contenir des règles dont vous ne voulez pas, supposer sur votre situation des faits qui sont faux ou être optimisé pour un autre modèle que celui que vous utilisez.

Comment vérifier le prompt qu’elle écrit?

Lisez-le d’abord ligne par ligne. Pour chaque règle, demandez-vous si vous la voulez vraiment. Supprimez tout ce qui ne correspond pas à votre situation, et ajoutez ce que le modèle ne pouvait pas savoir, comme votre public, votre style maison ou la longueur dont vous avez besoin. Assurez-vous que chaque espace réservé est un espace que vous remplirez vraiment.

Testez-le ensuite comme le fait APE : sur des exemples, pas sur des impressions. Rassemblez de trois à cinq vraies entrées, dont au moins un cas délicat, et faites passer le prompt sur chacune. Avant de regarder les résultats, écrivez en une phrase à quoi ressemble une bonne réponse, pour juger selon un critère plutôt que selon ce qui s’affiche. Comparez avec votre propre version plus simple; si le prompt court fait aussi bien, gardez le court.

Enfin, testez de nouveau quand quelque chose change. Un prompt qui fonctionne avec un modèle peut se comporter autrement avec un autre, et Anthropic note elle-même que son métaprompt a été conçu pour un modèle précis. Gardez ensemble la version testée et ses exemples de test, pour pouvoir la vérifier de nouveau en quelques minutes.