Comment demander à une IA de critiquer et d’améliorer sa propre réponse?

La première réponse d’un robot conversationnel est un premier jet, et comme tout premier jet, elle a habituellement des problèmes faciles à corriger : une entrée en matière vague, un point manquant, un paragraphe trop long. Vous pouvez les signaler vous-même, ronde après ronde. Mais vous pouvez aussi demander au modèle de faire le premier tour de révision, à condition de lui dire exactement selon quels critères.

Cette technique a un nom dans la recherche. Dans un article de 2023 intitulé Self-Refine, des chercheurs ont fait écrire un résultat à un modèle de langage, lui ont fait se donner une rétroaction, puis réviser à partir de cette rétroaction, le tout avec le même modèle et sans entraînement supplémentaire. Sur sept tâches, de la réécriture de critiques au raisonnement mathématique, des personnes et des mesures automatiques ont préféré les résultats affinés aux premiers jets de GPT-3.5 et de GPT-4, par environ 20 points de pourcentage en moyenne. Le mot clé est rétroaction : la critique doit être assez précise pour qu’on puisse agir.

Pourquoi « améliore-le » ne suffit pas

Si vous tapez simplement « améliore ceci », le modèle n’a pas de cible. Il va souvent rendre le texte plus long, plus formel et plus orné, ce qui n’est pas forcément ce dont vous avez besoin. Une grille règle ce problème. Une grille d’évaluation est une courte liste de critères, chacun accompagné d’un test clair, qui décrit à quoi ressemble une bonne réponse pour cette tâche. La rédiger prend une minute, et elle vous est aussi utile : elle vous oblige à décider ce que vous voulez vraiment.

Une boucle commentée en trois prompts

Supposons que la propriétaire d’une petite boulangerie ait besoin d’une courte annonce indiquant que la boutique fermera deux semaines pour des rénovations.

Étape 1 : le premier jet.

Rédige une annonce de 100 mots pour la page Facebook de notre boulangerie. Nous fermons du [DATE] au [DATE] pour des rénovations et rouvrons avec un coin repas plus grand. Ton amical.

Étape 2 : la critique selon une grille.

Avant de réécrire quoi que ce soit, révise ton premier jet selon cette grille. Pour chaque critère, donne une note de 1 à 5, cite les mots exacts qui font perdre des points et dis en une phrase ce qui corrigerait le problème. Ne réécris rien pour l’instant.

1. Les dates de fermeture figurent dans les deux premières phrases.
2. Les lecteurs apprennent pourquoi nous fermons et ce qui sera nouveau à la réouverture.
3. Il y a une seule action claire (par exemple, faire des provisions avant la fermeture).
4. 100 mots ou moins.
5. Chaleureux et simple : aucun cliché comme « une aventure palpitante ».

Une critique type pourrait donner une note de 2 au critère 1 (« les dates n’apparaissent qu’à la dernière ligne ») et une note de 3 au critère 5 (en citant « nous sommes ravis de nous lancer dans ce chapitre palpitant »).

Étape 3 : réviser seulement ce qui a échoué.

Maintenant, réécris l’annonce. Corrige seulement les critères qui ont obtenu moins de 4, et garde tout ce qui a obtenu 4 ou 5. Ensuite, énumère chaque changement que tu as fait, en une ligne chacun.

La liste des changements à la fin vous permet de vérifier rapidement que le modèle a fait ce que la critique demandait, et qu’il n’a pas discrètement réécrit les bonnes parties.

La règle d’arrêt

Décidez à l’avance quand la boucle se termine. Une règle pratique : arrêtez quand chaque critère obtient 4 ou plus, ou après deux rondes de critique, selon ce qui arrive en premier. Au-delà, les changements tendent à être cosmétiques, et chaque ronde vous coûte du temps de lecture. Si un critère échoue encore après deux rondes, le problème ne tient habituellement pas à la formulation. Il manque une information au modèle, comme la date de réouverture ou le nom réel du nouveau produit au menu, et vous seul pouvez la fournir.

Quand l’autocritique rend-elle les réponses pires?

Elle fonctionne le mieux pour les qualités que le modèle peut voir dans le texte lui-même : la longueur, la structure, le ton, la présence d’un point obligatoire. Elle fonctionne beaucoup moins bien pour vérifier si un fait ou un calcul est exact. Un article publié en octobre 2023, Large Language Models Cannot Self-Correct Reasoning Yet, a testé précisément cela. Quand on demandait aux modèles de revoir et de corriger leur propre raisonnement sans aucune information extérieure, ils échouaient généralement à s’améliorer, et transformaient parfois des réponses exactes en réponses fausses. Si un modèle ne connaissait pas un fait la première fois, lui demander de se vérifier ne lui apportera pas la connaissance manquante.

Pour les faits, les chiffres, les citations et le code, ajoutez donc une rétroaction extérieure plutôt que de compter sur l’autorévision. Vérifiez les affirmations dans une source fiable, exécutez le code ou refaites le calcul avec une calculatrice, puis collez ce que vous avez trouvé dans la conversation : « Le test a échoué avec cette erreur » ou « La date officielle est le 3 mai. » C’est une vraie rétroaction, et le modèle peut bien s’en servir.

Méfiez-vous aussi du polissage excessif. Chaque ronde peut retirer un peu de personnalité ou ajouter un peu de longueur. Si la troisième version est plus fade que la deuxième, gardez la deuxième. La grille est là pour protéger ce que vous voulez; si vous remarquez que la réponse dérive, ajoutez la qualité manquante comme nouveau critère plutôt que de faire d’autres rondes.