# Qu’est-ce que l’ingénierie de prompts, et est-ce une vraie compétence?

Date: 2022-07-05 · Author: Robert Scales · https://guidetoartificialintelligence.com/fr/apprendre/qu-est-ce-que-l-ingenierie-de-prompts/

**Answer:** L’ingénierie de prompts consiste à concevoir le texte qu’on donne à un modèle de langage pour qu’il accomplisse une tâche le mieux possible, puis à tester et à peaufiner ce texte. C’est une vraie compétence, qui s’apprend et qui tient plus de l’écriture claire et de l’expérimentation soignée que de la recette magique, même si on ne sait pas encore si elle deviendra un titre d’emploi durable.

Quiconque a utilisé GPT-3 plus d’un après-midi a remarqué que de petits changements dans un prompt peuvent beaucoup changer le résultat. Demandez « un résumé » et vous obtenez une chose; demandez « trois puces pour un gestionnaire pressé » et vous obtenez quelque chose de beaucoup plus utile. La pratique qui consiste à trouver la formulation qui fonctionne, et à vérifier qu’elle continue de fonctionner, porte un nom qui se répand rapidement : l’ingénierie de prompts (*prompt engineering*).

Le terme sonne grandiose, et certains lèvent les yeux au ciel en l’entendant. Il vaut la peine de séparer l’engouement du fond, parce que le fond est réel et utile à quiconque travaille avec des modèles de langage.

## Ce que le terme veut dire

Un prompt, c’est le texte qu’un modèle de langage reçoit avant de commencer à écrire. GPT-3 et les modèles semblables prolongent du texte : le prompt met donc la tâche en place, avec une consigne, quelques exemples, le matériel à traiter et une place pour la réponse.

Dans une revue de la recherche sur les prompts publiée en 2021, Pengfei Liu, Graham Neubig et leurs collègues de l’Université Carnegie Mellon définissent l’ingénierie de prompts comme la création du prompt qui donne la meilleure performance sur la tâche qui vous intéresse. Ils décrivent deux formes principales. Un prompt à trou (*cloze*) demande au modèle de remplir un blanc (« Paris est la capitale de ___ »). Un prompt préfixe donne le début d’un texte que le modèle doit poursuivre, ce qui convient aux modèles qui écrivent de gauche à droite comme GPT-3.

L’article sur GPT-3 a montré pourquoi c’est important. Ses auteurs ont confié des tâches au modèle uniquement par le texte, sans nouvel entraînement, dans trois configurations : *zero-shot* (une consigne seulement), *one-shot* (un exemple résolu) et *few-shot* (plusieurs). Les résultats s’amélioraient souvent à mesure qu’on ajoutait des exemples. Le modèle était le même dans tous les cas; seul le prompt changeait.

## Est-ce une vraie compétence?

Regardez ce que fait réellement une bonne ou un bon ingénieur de prompts : énoncer une tâche sans ambiguïté, choisir des exemples représentatifs, prévoir comment le modèle pourrait mal interpréter la demande et tester le prompt sur de nombreuses entrées au lieu de se fier à un seul bon résultat. Ce sont les habitudes d’une personne qui écrit clairement et qui expérimente avec soin. Elles s’améliorent avec la pratique, et les gens les maîtrisent plus ou moins bien. Selon n’importe quelle définition ordinaire, c’est une compétence.

La revue de Carnegie Mellon le dit d’ailleurs : écrire des prompts à la main demande du temps et de l’expérience, et même des concepteurs expérimentés peuvent ne pas trouver le meilleur. Ce second point explique aussi pourquoi des chercheurs mettent au point des méthodes pour chercher des prompts automatiquement, par exemple en reformulant un prompt de départ de nombreuses façons et en gardant la version qui obtient le meilleur score.

## Le débat sur le titre d’emploi

Il est moins clair que « ingénieur de prompts » deviendra un emploi durable, plutôt qu’une compétence parmi d’autres dans divers emplois, et il existe des arguments raisonnables dans les deux sens.

D’un côté, les entreprises qui bâtissent des produits sur GPT-3 dépendent de prompts fiables sur des milliers d’entrées. Quelqu’un doit les concevoir, les tester et les entretenir, et ce travail prend un temps bien réel.

De l’autre, deux tendances pourraient réduire le besoin de spécialistes. La première est l’automatisation, la recherche automatique de prompts décrite plus haut. La seconde est une meilleure capacité à suivre les consignes. Depuis janvier, les modèles par défaut de l’API d’OpenAI sont des versions InstructGPT, entraînées avec de la rétroaction humaine pour suivre des consignes simples, et OpenAI rapporte que ses annotateurs préféraient leurs réponses à celles du GPT-3 original. Si les modèles comprennent bien les demandes ordinaires, les astuces de prompt élaborées comptent moins, alors qu’une réflexion claire sur la tâche compte toujours.

Un résumé juste, pour aujourd’hui : bien rédiger ses prompts est un atout précieux dans de nombreux rôles, comme la rédaction, le soutien à la clientèle, la recherche et le développement de logiciels, et il est trop tôt pour dire combien de personnes en feront leur titre.

## Comment s’y exercer?

Travaillez comme une scientifique : changez une chose à la fois et comparez. Voici une routine simple.

**Étape 1. Choisissez une vraie tâche** dont vous pouvez juger le résultat, par exemple « écrire une description de produit de deux phrases pour une planche à découper en bois faite à la main ».

**Étape 2. Écrivez cinq variantes** du prompt, chacune ajoutant un élément :

| Version | Ce qui change |
|---|---|
| 1 | La tâche seule |
| 2 | Ajout du public (« pour les acheteurs d’un site de marché d’artisans ») |
| 3 | Ajout de contraintes (« deux phrases, aucun point d’exclamation, mentionner le bois d’érable ») |
| 4 | Ajout d’un exemple de description que vous aimez, pour un autre produit |
| 5 | Reformulation sous forme de document, avec une étiquette là où va la réponse |

La version 5 pourrait ressembler à ceci :

```prompt
Descriptions de produits d’un site de marché d’artisans. Chacune tient en deux phrases calmes et concrètes.

Produit : Tasse en céramique tournée à la main
Description : Une tasse robuste en grès, émaillée d’un bleu profond et façonnée à la main dans un petit atelier. Elle contient une généreuse portion de café et va au lave-vaisselle.

Produit : Planche à découper en érable faite à la main
Description :
```

**Étape 3. Faites tourner chaque version trois fois**, puisque les résultats de GPT-3 varient, et conservez les quinze résultats.

**Étape 4. Notez-les** selon une courte liste de critères que vous rédigez avant de les lire : bonne longueur, détails exacts, ton, rien d’inventé.

**Étape 5. Écrivez une phrase** sur le changement qui a le plus aidé. Au bout de quelques semaines, ces notes deviennent votre propre guide de ce qui fonctionne.

> **À essayer :** appliquez la routine des cinq versions à une tâche tirée de votre travail cette semaine, et tenez un journal simple de la version, du score et du changement qui a fait la plus grande différence.

## Sources

- Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Language Processing: https://arxiv.org/abs/2107.13586
- Language Models are Few-Shot Learners: https://arxiv.org/abs/2005.14165
- Aligning Language Models to Follow Instructions: https://openai.com/index/instruction-following/