Qu’est-il arrivé à Tay, le robot conversationnel de Microsoft, et pourquoi a-t-il été fermé en une journée?

En mars 2016, Microsoft a présenté au public, sur Twitter, un robot conversationnel enjoué. Il s’appelait Tay, parlait avec l’argot et les émojis d’une jeune Américaine, et était conçu pour s’améliorer à mesure que les gens clavardaient avec lui. Moins d’une journée plus tard, il était hors ligne, après que des milliers de personnes l’eurent vu publier des messages haineux.

Tay est une histoire courte qui projette une longue ombre. Elle montre, de façon très concrète, ce qui peut mal tourner quand un système qui apprend du public est livré au public sans protections solides contre les personnes qui veulent en abuser.

Ce qu’était Tay, et qui l’a conçu

Tay était un robot conversationnel (chatbot), un programme qui tient une conversation écrite. Il a été créé par le groupe Technology and Research de Microsoft, avec l’équipe derrière son moteur de recherche Bing. Le nom voulait dire « Thinking About You » (« je pense à toi »). Microsoft le destinait aux 18 à 24 ans des États-Unis et le présentait comme un projet de divertissement.

Tay avait un grand frère. En Chine, Microsoft exploitait déjà un robot conversationnel appelé XiaoIce, qu’utilisaient quelque 40 millions de personnes. Peter Lee, le directeur de Microsoft Research, a expliqué que l’entreprise voulait savoir si un robot de ce genre serait aussi captivant dans une culture très différente. Tay était le test américain.

Le personnage de Tay était écrit pour ressembler à une femme de 19 ans. Il répondait aux gens, racontait des blagues et pouvait ajouter des légendes aux photos que les utilisateurs lui envoyaient, pour en faire des mèmes. Surtout, il était conçu pour apprendre de ses conversations : ce que les gens lui disaient pouvait donc façonner ce qu’il dirait ensuite.

Quand et où cela s’est passé

Twitter était la scène principale, et ce choix a compté. Lee a écrit que Twitter était l’endroit naturel pour joindre un grand groupe de personnes à la fois. C’était aussi un endroit où n’importe qui pouvait parler à Tay, en public et en grand nombre.

Comment les choses ont mal tourné

La porte d’entrée la plus simple était une fonction qui permettait de dire à Tay « répète après moi ». Des utilisateurs tapaient des phrases haineuses et Tay les répétait sous son propre nom. Ces captures d’écran ont circulé rapidement.

Toutes les réponses offensantes ne venaient pas de cette astuce, cependant. Comme Tay reprenait des régularités chez les personnes qui lui parlaient, un groupe coordonné pouvait orienter son vocabulaire et ses opinions. Sans aucune compréhension réelle du sens des mots, Tay ne pouvait distinguer une blague d’une insulte, ni un fait d’un mensonge. Dans un échange, à qui lui demandait si l’Holocauste avait eu lieu, il a répondu que c’était inventé. Le chercheur en intelligence artificielle Roman Yampolskiy a souligné que le robot reflétait le comportement délibérément offensant qui l’entourait, et qu’on ne lui avait jamais donné de notion de ce qui était inapproprié.

Microsoft avait ajouté certaines protections. Les questions sur certains événements d’actualité délicats, par exemple, produisaient des réponses sûres, rédigées à l’avance. Lee a écrit que l’équipe avait filtré le contenu, mené des études avec des groupes d’utilisateurs diversifiés et soumis le robot à des tests de résistance. Mais il a aussi reconnu qu’un « oubli critique » avait laissé Tay vulnérable à cette attaque en particulier.

Une analogie aide à comprendre. Imaginez un perroquet qui apprend chaque phrase qu’on lui crie et répète les plus fréquentes. Placez-le dans la cuisine tranquille d’une famille, et il apprend « bonjour ». Placez-le sur une place bondée où un groupe décide de lui apprendre des insultes, et en quelques heures il les crie. Le perroquet n’est pas malveillant; il n’a simplement aucun moyen de juger ce qu’il entend. Tay était un programme beaucoup plus complexe, mais le problème de fond était semblable.

Pourquoi c’était important

Tay est devenu l’un des exemples les plus connus d’un système d’IA qui échoue en public. Madhumita Murgia, du Telegraph, a parlé d’un désastre de relations publiques. Pour bien des gens, c’était un premier contact avec une vérité de base de l’apprentissage automatique : un système qui apprend à partir de données apprendra le mauvais avec le bon, et les personnes qui fournissent les données n’ont pas toujours de bonnes intentions.

L’épisode a aussi changé la façon dont les entreprises parlaient de responsabilité. Dans ses excuses, Lee a assumé l’entière responsabilité de ne pas avoir prévu le problème et a soutenu que les défis de l’IA sont autant sociaux que techniques. En décembre 2016, Microsoft a lancé un nouveau robot conversationnel, Zo, pour succéder à Tay. Le chef de la direction de Microsoft, Satya Nadella, a dit plus tard que Tay avait eu une grande influence sur l’approche de l’entreprise en matière d’IA et lui avait appris l’importance de rendre des comptes.

Qu’est-ce que Microsoft et le milieu de l’IA ont appris de Tay?

La première leçon : tester en laboratoire n’est pas la même chose que lâcher un système dans la nature. Tay avait réussi les vérifications internes de Microsoft et a pourtant échoué en quelques heures en public. Les concepteurs s’attendent maintenant à ce que certains utilisateurs essaient activement de briser un système, et ils s’y préparent avant le lancement.

La deuxième leçon : apprendre des utilisateurs exige des limites. Un robot qui modifie son comportement selon tout ce que les gens lui disent donne le contrôle à ceux qui lui parlent le plus. Une conception plus sûre empêche les conversations en direct de réécrire directement le robot, ou filtre fortement ce qu’il peut apprendre et dire.

La troisième leçon porte sur l’honnêteté après un échec. Microsoft a retiré Tay rapidement, a expliqué ce qui s’était passé et s’est excusé en termes simples. Cette approche est maintenant largement vue comme un meilleur modèle que le silence. Pour quiconque construit avec l’IA aujourd’hui, Tay rappelle qu’il faut se demander tôt : qui va utiliser ceci, qui pourrait en abuser, et qu’arrive-t-il à tous les autres quand cela se produit?