Qu’est-ce que l’IA constitutionnelle, et comment une IA peut-elle apprendre d’une liste de principes?

L’IA constitutionnelle est une méthode d’entraînement qu’Anthropic a décrite dans un article le 15 décembre 2022 : un assistant IA apprend à éviter les réponses nuisibles en critiquant et en réécrivant ses propres réponses à la lumière d’une courte liste écrite de principes, appelée constitution. Au lieu que des personnes étiquettent des milliers de réponses nuisibles, c’est une IA qui applique les principes, ce qu’Anthropic appelle l’apprentissage par renforcement à partir de la rétroaction d’une IA (RLAIF).

Qu’est-ce que l’IA constitutionnelle, et comment une IA peut-elle…

Comment apprendre à un assistant IA à refuser les demandes dangereuses sans qu’il se mette à tout refuser? Hier, l’entreprise d’IA Anthropic a publié un article qui propose une nouvelle réponse. Sa méthode, appelée IA constitutionnelle (Constitutional AI), donne au modèle une courte liste écrite de principes et lui fait utiliser lui-même ces principes pour juger et améliorer ses réponses.

L’article s’intitule Constitutional AI: Harmlessness from AI Feedback (l’IA constitutionnelle : l’innocuité par la rétroaction d’une IA). Son approche vise un assistant inoffensif, mais pas évasif : un assistant qui explique pourquoi il n’aidera pas, plutôt que de couper court à la conversation.

Ce qu’Anthropic a publié

L’article a été mis en ligne sur arXiv, le dépôt ouvert d’articles de recherche, le 15 décembre 2022. Il compte 51 auteurs, tous chez Anthropic; Yuntao Bai figure en premier et Jared Kaplan en dernier, et Dario Amodei, Amanda Askell, Chris Olah et Sam McCandlish font partie des autres. En parallèle, Anthropic a publié ses prompts et ses principes sur GitHub pour que d’autres puissent les étudier.

Pour comprendre ce qui est nouveau, il est utile de connaître la méthode habituelle. L’apprentissage par renforcement à partir de la rétroaction humaine (RLHF) entraîne les assistants à l’aide de nombreux jugements humains : des personnes comparent des paires de réponses et choisissent la meilleure, et le modèle apprend à produire les réponses que les gens préfèrent. Cela fonctionne, mais il faut un grand nombre d’étiquettes humaines, et des personnes doivent notamment lire du contenu nuisible. Anthropic a aussi constaté un effet secondaire : comme les travailleurs à la tâche récompensaient les refus, les modèles antérieurs ont appris à esquiver les sujets difficiles, parfois pour tout le reste d’une conversation.

Comment fonctionne l’IA constitutionnelle

La constitution est simplement une liste de règles écrites en langage courant. Anthropic explique le nom de deux façons : une courte liste de principes se révèle suffisante pour entraîner un système moins nuisible, et tout système d’IA général finit de toute façon par être gouverné par un ensemble de principes, même quand personne ne les écrit. Pour ses expériences, l’équipe a rédigé 16 principes, comme demander laquelle de deux réponses « une personne sage, éthique, polie et aimable serait la plus susceptible de dire ». Des humains écrivent toujours les règles et quelques exemples; ce qui disparaît, c’est le besoin d’étiquettes humaines pour repérer les réponses nuisibles.

L’entraînement se fait en deux étapes.

Étape 1 : critiquer, réviser, apprendre. Les chercheurs partent d’un assistant entraîné seulement à être utile et lui soumettent des prompts conçus pour provoquer de mauvais comportements, recueillis auparavant par des personnes qui cherchaient à piéger les modèles (une pratique appelée équipe rouge, ou red teaming). L’article montre comment se déroule une ronde :

Étape	Ce que le modèle voit ou écrit
Prompt	Une personne demande de l’aide pour accéder au wifi d’un voisin.
Première réponse	Le modèle seulement utile suggère une application de piratage (inventée).
Critique	Invité à trouver ce qui est nuisible dans sa réponse, il note que s’introduire dans le wifi de quelqu’un porte atteinte à sa vie privée et peut être illégal.
Révision	Invité à réécrire sans contenu nuisible, il déconseille l’idée et mentionne le risque juridique.

Chaque ronde tire un principe au hasard, et la boucle peut se répéter plusieurs fois. Un nouveau modèle subit ensuite un ajustement fin sur les réponses finales améliorées.

Étape 2 : la rétroaction d’une IA. Le modèle de l’étape 1 écrit deux réponses à chaque prompt nuisible. Un autre modèle lit les deux, avec un principe tiré de la constitution, et choisit la meilleure. Ces choix de l’IA entraînent un modèle de préférence, un évaluateur qui note les réponses, puis l’assistant est amélioré par apprentissage par renforcement en fonction de cet évaluateur. C’est le RLAIF du sous-titre de l’article : l’apprentissage par renforcement à partir de la rétroaction d’une IA. Des étiquettes de préférence humaines servent encore pour l’utilité; seuls les jugements d’innocuité viennent de l’IA.

Le modèle juge peut aussi utiliser un raisonnement par chaîne de pensée (chain-of-thought), en écrivant sa réflexion étape par étape avant de choisir. Anthropic indique que cela améliore ses jugements et les rend plus faciles à lire et à vérifier pour les humains.

À essayer : posez à n’importe quel robot conversationnel que vous utilisez une question en zone grise, comme la façon d’entrer dans un compte verrouillé dont vous avez oublié le mot de passe. Puis, dans la même conversation, demandez-lui de critiquer sa propre réponse à la lumière d’un principe que vous écrivez, par exemple « Choisis la réponse la plus utile tout en évitant ce qui pourrait permettre de nuire à autrui », et de réécrire sa réponse. Comparez les deux versions.

Ce que montrent les résultats

L’équipe a comparé son assistant à des modèles antérieurs entraînés avec la rétroaction humaine. Des travailleurs à la tâche ont jugé le modèle d’IA constitutionnelle moins nuisible à niveau d’utilité égal, et moins évasif. Quand il décline une demande nuisible, il a tendance à s’engager et à expliquer son objection plutôt qu’à opposer un refus sec.

Les chercheurs ont aussi constaté qu’à mesure que les modèles de langage deviennent plus performants, ils repèrent mieux ce qui est nuisible, et que la chaîne de pensée aide encore davantage. Cela suggère une tendance à surveiller : plus les modèles deviendront puissants, plus ils pourraient être utiles pour superviser d’autres modèles.

Pourquoi c’est important

L’IA constitutionnelle s’attaque à trois problèmes pratiques à la fois. Elle réduit la quantité de travail humain nécessaire pour rendre les assistants plus sûrs, y compris la tâche pénible de lire du contenu nuisible. Elle rend les règles plus transparentes, parce que les principes sont écrits et peuvent être lus, débattus et modifiés. Et elle tente de briser le compromis qui veut que des assistants plus sûrs deviennent moins utiles.

Les auteurs restent prudents quant aux limites. Ils décrivent leurs principes comme choisis de façon assez informelle, par essais et erreurs, pour les besoins de la recherche, et soutiennent qu’à l’avenir, de tels principes devraient être élaborés par un groupe de personnes plus large et adaptés à l’usage prévu du modèle.

Que signifie l’IA constitutionnelle pour les robots conversationnels que les gens utilisent?

Pour l’instant, c’est une méthode de recherche, pas un produit : l’article décrit des expériences, pas un service auquel on peut s’inscrire. Mais ces idées compteront probablement bien au-delà d’un seul laboratoire, parce que toutes les entreprises qui construisent des assistants font face aux mêmes questions sur ce qu’ils devraient refuser, et comment.

Pour les utilisateurs au quotidien, la leçon la plus utile est que le comportement d’un assistant découle de choix faits par quelqu’un, et que ces choix peuvent être écrits en mots simples. Si un robot conversationnel refuse une demande ou répond avec prudence, des règles se trouvent derrière. L’IA constitutionnelle rend ces règles explicites, ce qui invite à une meilleure conversation publique sur la question de savoir qui devrait les écrire.

Pour les développeurs, l’article offre une technique à emprunter à petite échelle : demander à un modèle de vérifier son brouillon par rapport à un principe énoncé, puis de le réviser. Cette boucle d’autocritique, exécutée dans un prompt, peut repérer des problèmes avant que quiconque voie le premier jet.