# Qu’est-ce que l’alignement de l’IA, en mots simples?

Date: 2022-04-26 · Author: Robert Scales · https://guidetoartificialintelligence.com/fr/apprendre/alignement-ia-en-mots-simples/

**Answer:** L’alignement de l’IA, c’est le travail qui consiste à faire en sorte qu’un système d’IA fasse ce que les gens veulent vraiment, et pas seulement ce pour quoi il a été littéralement entraîné ou ce qu’on lui a dit de faire. Pour des modèles de langage comme GPT-3, cela veut dire des réponses utiles, véridiques et sans danger, plutôt que le texte statistiquement le plus probable.

Imaginez que vous embauchez un assistant très rapide et très littéral, et que vous lui dites de « vider ma boîte de réception ». À votre retour, tous vos courriels ont été supprimés. Il a fait exactement ce que vous avez dit, et pas du tout ce que vous vouliez dire. L’alignement de l’IA est l’effort pour combler cet écart : concevoir des systèmes dont le comportement correspond aux intentions des personnes qui les utilisent, y compris les parties que ces personnes n’ont jamais pensé à préciser.

Le mot semble abstrait, mais le problème apparaît dans l’usage ordinaire des modèles de langage actuels. Il est aussi au cœur de certaines des recherches les plus concrètes de la dernière année.

## L’écart entre l’objectif et l’entraînement

Tout système d’apprentissage automatique est entraîné à faire monter ou descendre un nombre. Celui de GPT-3 mesure à quel point il prédit bien le mot suivant d’un texte d’Internet. C’est une habileté utile, mais ce n’est pas la même chose que « aider la personne devant vous ». L’article d’OpenAI sur InstructGPT décrit directement ce décalage : prédire le jeton suivant d’une page Web est un objectif différent de suivre les consignes d’un utilisateur de façon utile et sûre; dans les termes des chercheurs, l’objectif d’entraînement est donc **mal aligné**.

Deux analogies du quotidien aident à comprendre :

- **L’enseignant qui prépare à l’examen.** Si une école est jugée seulement sur les résultats aux examens, elle risque de faire répéter les questions d’examen au lieu d’enseigner la matière. La mesure monte pendant que le véritable objectif en souffre.
- **Le GPS qui a la mauvaise priorité.** Une application de navigation à qui l’on demande seulement de réduire le nombre de minutes peut vous envoyer sur un chemin de terre la nuit. Rapide, oui; ce que vous vouliez, non.

OpenAI a rencontré le premier cas de figure avec des résumés en 2020. Les chercheurs ont constaté qu’entraîner un modèle à obtenir un bon score ROUGE, une mesure automatique qui compte les mots en commun avec un résumé de référence, produisait des résumés jugés moins bons par des humains que l’entraîner à correspondre à ce que les gens préféraient réellement.

## Un exemple de réponse mal alignée

L’annonce d’InstructGPT par OpenAI, en janvier, en montre un cas limpide. Avec ce prompt :

```prompt
Explique l’alunissage à un enfant de 6 ans en quelques phrases.
```

le GPT-3 d’origine n’a rien expliqué. Il a produit d’autres lignes dans le même style, comme une demande d’expliquer la gravité à un enfant de six ans, puis la relativité. Du point de vue de GPT-3, c’est une suite raisonnable : une ligne comme celle-là pourrait facilement figurer dans une liste de sujets de rédaction semblables. Du point de vue de l’utilisateur, c’est inutile. Rien n’est brisé; le modèle fait le travail pour lequel il a été entraîné, qui n’est pas celui que l’utilisateur avait en tête.

L’alignement couvre aussi des échecs plus discrets. Un modèle peut répondre avec assurance en inventant des faits, reproduire des stéréotypes tirés de ses données d’entraînement ou se plier à une demande nuisible. Chaque fois, le texte probable et le bon comportement divergent.

## Ce que montrent les résultats d’InstructGPT

Pour réduire l’écart, OpenAI a soumis GPT-3 à un ajustement fin à l’aide des jugements d’environ 40 annotateurs embauchés, qui rédigeaient des exemples de réponses et classaient les tentatives du modèle. L’article définit sa cible par trois mots empruntés à des travaux antérieurs : les modèles doivent être **utiles** (*helpful* : accomplir la tâche de l’utilisateur), **honnêtes** (*honest* : ne pas inventer ni induire en erreur) et **inoffensifs** (*harmless* : ne pas causer de tort physique, psychologique ou social). Les résultats, publiés en mars :

| Mesure | Ce qui a changé |
|---|---|
| Préférence des annotateurs | Les réponses d’un modèle InstructGPT de 1,3 milliard de paramètres l’ont emporté sur le GPT-3 de 175 milliards de paramètres |
| Information inventée dans les tâches fermées | Environ 21 % du temps, contre 41 % pour GPT-3 |
| Contenu toxique quand on demande d’être respectueux | Environ 25 % de moins |
| Bancs d’essai sur les biais | Aucune amélioration significative |

Les auteurs restent prudents sur les limites. Les modèles commettent encore des erreurs simples, et l’article précise qu’ils sont alignés sur les préférences d’un groupe précis, surtout les annotateurs et les chercheurs, plutôt que sur une conception large des valeurs humaines. Savoir quelles intentions comptent fait partie de la question de l’alignement; ce n’est pas un détail.

> **À essayer :** écrivez une demande qu’un lecteur littéral pourrait satisfaire d’une façon que vous détesteriez, comme « raccourcis ce courriel ». Lancez-la dans le Playground, puis réécrivez-la en précisant ce qui ne doit pas changer, et comparez les deux résultats.

## Pourquoi les laboratoires tiennent-ils à ce qu’un modèle suive les consignes?

La première raison est l’utilité. Un modèle qui répond à la question qu’on lui pose vaut bien plus qu’un modèle qui a besoin de prompts alambiqués pour bien se comporter. OpenAI a fait des modèles InstructGPT les modèles par défaut de son API en janvier, après plus d’un an en version bêta; suivre les consignes est donc maintenant une caractéristique du produit, et pas seulement un objectif de recherche.

La deuxième raison est la sécurité. Suivre des consignes est une version réduite et vérifiable d’un problème beaucoup plus vaste : s’assurer que des systèmes de plus en plus capables poursuivent les objectifs que les gens leur donnent et évitent les torts qui préoccupent les gens. Les auteurs d’InstructGPT décrivent leur démarche comme une façon d’améliorer l’alignement des systèmes qui existent aujourd’hui, plutôt que de raisonner dans l’abstrait sur les systèmes futurs, parce que travailler sur de vrais modèles montre rapidement quelles méthodes aident et lesquelles échouent.

La troisième raison est le coût. OpenAI indique que l’ajustement fin a utilisé moins de 2 % de la puissance de calcul de l’entraînement initial de GPT-3. Quand un investissement modeste rend un modèle nettement plus utile et un peu plus véridique, les laboratoires n’ont pas de mal à le justifier. Les questions ouvertes sont les plus difficiles : comment aligner des modèles sur des tâches que les gens ne peuvent pas facilement juger, et comment décider des préférences qu’un modèle devrait suivre.

## Sources

- Training language models to follow instructions with human feedback: https://arxiv.org/abs/2203.02155
- Aligning Language Models to Follow Instructions: https://openai.com/index/instruction-following/
- Learning to summarize from human feedback: https://arxiv.org/abs/2009.01325