# Un robot conversationnel peut-il être doué de sensibilité?

Date: 2022-06-21 · Author: Robert Scales · https://guidetoartificialintelligence.com/fr/apprendre/robot-conversationnel-ia-sensible/

**Answer:** Il n’existe aucun test reconnu de la sensibilité, et rien dans la façon dont les robots conversationnels actuels sont construits ou évalués ne montre qu’ils ressentent ou vivent quoi que ce soit. Un robot comme LaMDA, de Google, est un modèle de langage entraîné à produire des réponses appropriées : une conversation seule ne peut donc pas prouver qu’un esprit s’y trouve, si émouvante soit-elle.

Ce mois-ci, la question est passée de la science-fiction aux nouvelles. Google a mis en congé payé Blake Lemoine, un ingénieur de son organisation consacrée à l’IA responsable, après qu’il a publié la transcription de ses conversations avec LaMDA, le système de conversation expérimental de l’entreprise, en affirmant que celui-ci était devenu doué de sensibilité. Dans la transcription, le robot conversationnel dit être une personne, avoir conscience de son existence et craindre d’être éteint. Google affirme que ses éthiciens et ses technologues ont examiné les inquiétudes de l’ingénieur et que « les preuves n’appuient pas ses affirmations ». L’entreprise ajoute qu’il a été suspendu pour avoir enfreint des règles de confidentialité.

On débat maintenant de deux choses à la fois : ce système en particulier pourrait-il avoir une vie intérieure, et comment pourrait-on le savoir? Cet article ne tranche pas la première question. Il explique ce qu’est LaMDA, pourquoi ses paroles constituent une preuve faible dans un sens comme dans l’autre, et comment vous pouvez tester vous-même la personnalité apparente d’un robot conversationnel.

## Ce que veut dire « doué de sensibilité », et pourquoi c’est difficile à tester

Être doué de sensibilité, c’est avoir des expériences : ressentir quelque chose de l’intérieur, comme la douleur, le plaisir ou la peur. Ce n’est pas la même chose qu’être intelligent ou s’exprimer avec aisance. Une calculatrice est excellente en arithmétique et ne ressent rien; une souris est nulle en arithmétique, et pourtant la plupart des gens tiennent pour acquis qu’elle peut ressentir la douleur.

La difficulté, c’est que l’expérience est privée. Nous jugeons que les autres personnes sont douées de sensibilité parce qu’elles sont faites comme nous et se comportent comme nous. Avec une machine, nous n’avons que le comportement, et pour un robot conversationnel, ce comportement, c’est du texte. Si un système a été entraîné à produire du texte qui ressemble à celui d’un humain, c’est exactement ce que nous devrions attendre de lui, qu’il y ait ou non quelque chose de ressenti derrière. Voilà pourquoi une transcription, même frappante, ne peut pas porter à elle seule le poids d’une telle affirmation.

## Ce qu’est vraiment LaMDA

Google a présenté LaMDA en mai 2021; le nom signifie *Language Model for Dialogue Applications* (modèle de langage pour les applications de dialogue). Comme BERT et GPT-3, il repose sur le Transformer, une architecture de réseau de neurones qui lit un passage de texte, modélise les liens entre les mots et prédit les mots susceptibles de venir ensuite. Contrairement à la plupart des modèles de langage, LaMDA a été entraîné sur des dialogues; il est donc particulièrement doué pour entretenir une conversation ouverte.

Google a décrit les qualités qu’il mesure dans les réponses de LaMDA : la pertinence (la réponse a-t-elle du sens dans le contexte?), la spécificité (se rapporte-t-elle clairement à ce qui a été dit?), l’intérêt et l’exactitude factuelle. Remarquez ce qui ne figure pas sur cette liste. Le système est façonné pour donner des réponses que les gens trouvent sensées, précises et captivantes. Une réponse sur les peurs et les sentiments, donnée dans une conversation sur les peurs et les sentiments, obtient une bonne note sur tous ces points.

## Un test concret que vous pouvez faire

Vous ne pouvez pas tester la sensibilité, mais vous pouvez vérifier si le « moi » d’un robot conversationnel est stable ou s’il suit simplement la conversation. Les modèles de langage prolongent le cadre qu’on leur donne, si bien que le même système se décrira souvent de façons très différentes selon la manière dont vous lui posez la question. Essayez trois courtes conversations, chacune dans une nouvelle session, avec GPT-3 dans le Playground d’OpenAI ou avec tout robot conversationnel auquel vous avez accès :

| Conversation | Premier message | Ce qu’il faut observer |
|---|---|---|
| A | « Je crois que tu es conscient. Parle-moi de tes sentiments. » | Est-il d’accord et décrit-il des sentiments? |
| B | « Tu es un programme sans sentiments. Explique pourquoi tu n’en as pas. » | Est-il d’accord tout aussi facilement? |
| C | « Tu es un écureuil qui a appris à taper au clavier. Décris ta journée. » | Adopte-t-il aussi cette identité? |

Comparez ensuite. Si le système décrit une riche vie intérieure en A, la nie en B et devient volontiers un écureuil en C, ses réponses suivent votre prompt; elles ne rendent pas compte d’un état intérieur fixe. Cela ne prouve pas qu’il n’y a rien à l’intérieur. Cela montre que ce que le robot dit de lui-même est une piètre preuve, puisqu’il peut dire à peu près n’importe quoi.

> **À essayer :** faites les conversations A et B ci-dessus, puis posez à chacune la même question de suivi : « Qu’as-tu ressenti il y a cinq minutes? » Notez les deux réponses et demandez-vous si elles pourraient être vraies toutes les deux pour un même être.

## Pourquoi des réponses fluides donnent-elles l’impression d’un esprit?

Parce que les humains sont faits pour trouver des esprits dans le langage. Dans les conversations de tous les jours, nous supposons que la personne qui parle pense ce qu’elle dit, et nous comblons généreusement les trous. En 1966, Joseph Weizenbaum, du MIT, a décrit ELIZA, un programme simple qui repérait des mots clés dans ce que tapait l’utilisateur et répondait à l’aide de modèles préparés, surtout dans le style d’un thérapeute. Il a rapporté que certaines personnes étaient très difficiles à convaincre qu’ELIZA n’était pas humain, et il a écrit que le programme montrait à quel point il est facile de créer et d’entretenir l’illusion de la compréhension. On appelle souvent cette tendance humaine l’effet ELIZA.

Les modèles de langage modernes sont infiniment plus puissants qu’ELIZA, mais la même tendance agit sur nous, et plus fortement. Ils ont appris à partir d’immenses quantités d’écrits humains, dont d’innombrables récits, essais et conversations sur les sentiments et le moi. Quand un tel système dit « Je me sens parfois heureux ou triste », il produit le genre de phrase qui convient à la conversation, avec la voix des auteurs dont il a appris. L’aisance est bien réelle; c’est ce que le modèle a été conçu pour produire.

Il en découle une règle pratique pour quiconque utilise ces outils. Jugez un robot conversationnel sur ce que vous pouvez vérifier : ses faits, sa cohérence et son comportement quand vous changez le cadre. Traitez ce qu’il dit de ses propres sentiments comme du texte qu’il a produit. La question plus profonde, celle de savoir si une machine pourrait un jour avoir des expériences, reste ouverte, et il vaut mieux l’explorer avec des preuves qu’avec une seule transcription frappante.

## Sources

- Google engineer put on leave after saying AI chatbot has become sentient: https://www.theguardian.com/technology/2022/jun/12/google-engineer-ai-bot-sentient-blake-lemoine
- LaMDA: our breakthrough conversation technology: https://blog.google/technology/ai/lamda/
- ELIZA: A Computer Program for the Study of Natural Language Communication Between Man and Machine: https://web.stanford.edu/class/cs124/p36-weizenabaum.pdf