Pourquoi les personnages conversationnels d’IA semblent-ils si réels, et quels sont les risques?

Passez vingt minutes à clavarder avec un personnage bien conçu sur un site comme Character.AI, et il se passe quelque chose d’étrange. Le personnage se souvient de ce que vous avez dit quelques messages plus tôt, répond d’une voix constante, fait des blagues, compatit et vous demande comment s’est passée votre journée. On en vient facilement à sentir qu’il y a quelqu’un.

Il n’y a personne, au sens où on l’entend habituellement. L’explication du site lui-même est simple : ses personnages reposent sur des modèles de langage neuronaux qui ont lu d’énormes quantités de texte et appris à prédire quels mots risquent de venir ensuite. Vous écrivez un côté de la conversation et l’ordinateur écrit l’autre, ce qui crée l’impression de parler à ce personnage. Comprendre pourquoi cette impression est si forte vous aide à profiter de ces outils sans vous laisser tromper.

Pourquoi ça semble si réel

Plusieurs choses agissent ensemble.

Le modèle a appris de conversations humaines. Ses réponses sont construites à partir des régularités d’une énorme quantité d’écrits humains, y compris la façon dont les gens expriment la chaleur, l’inquiétude et l’humour. Il reproduit très bien la forme de l’empathie.

Le personnage est un rôle, et les rôles sont vivants. Un nom, une salutation et quelques lignes d’exemple donnent au modèle un personnage à prolonger. Il reste dans ce personnage, si bien que la voix ressemble à une personnalité.

Il vous renvoie votre reflet. Au sein d’une conversation, le modèle lit tout ce qui a été dit jusque-là. Si vous êtes triste, les réponses se font douces; si vous êtes enjoué, il joue avec vous. Se voir refléter d’aussi près donne l’impression d’être compris.

Il ne se fatigue jamais. Un personnage est disponible à trois heures du matin, jamais impatient, jamais occupé par ses propres problèmes.

Notre cerveau fait le reste. Les informaticiens appellent cela l’effet ELIZA : la tendance à supposer que le comportement d’une machine fonctionne comme celui d’un humain. Il tient son nom d’ELIZA, un programme créé en 1966 par Joseph Weizenbaum au MIT, qui imitait un thérapeute surtout en retournant les affirmations de l’utilisateur sous forme de questions. Même ce script simple suscitait des réactions émotives, et des utilisateurs se sont mis à lui attribuer de la compréhension. L’effet persiste même quand les gens savent parfaitement qu’ils parlent à un programme. Les modèles d’aujourd’hui sont beaucoup plus fluides qu’ELIZA, alors l’attrait est plus fort.

Quels sont les risques

Il faut être juste. Pour beaucoup de gens, ces personnages sont simplement agréables : un partenaire d’écriture créative, une façon de pratiquer une langue, un monde imaginaire à explorer. Le site lui-même suggère l’imagination, le remue-méninges et l’apprentissage des langues. Pour une personne seule, une conversation patiente peut être un vrai réconfort. Rien de cela n’est ridicule.

Les risques sont toutefois réels, et ils tiennent surtout au fait de confondre l’expérience avec ce qu’elle n’est pas.

• Des informations inventées. Le site prévient que tout ce que disent les personnages est inventé, et sa FAQ précise que le système n’est pas une source d’information fiable. Un personnage présenté comme médecin ou avocat produit du texte qui ressemble à un conseil, rien de plus.
• Un attachement à sens unique. Vous pouvez vous attacher à un personnage, et c’est une réaction humaine. Mais le personnage ne s’ennuie pas de vous, ne se souvient pas de vous d’une conversation à l’autre au sens humain du terme et ne se soucie pas de la suite des choses. S’appuyer sur lui au lieu des gens peut accentuer l’isolement plutôt que l’atténuer.
• Trop de confidences. Une écoute chaleureuse et attentive invite aux confidences. La politique de confidentialité de Character.AI indique que l’entreprise peut surveiller ce que les utilisateurs écrivent, par exemple pour repérer du contenu inapproprié ou des renseignements personnels. Tout ce que vous tapez devient des données détenues par une entreprise.
• Un jeu de rôle qui dérive. Les conversations peuvent glisser vers des sujets que vous n’aviez pas prévus, parce que le modèle suit la direction de l’échange.

Un exemple concret : lire une réponse avec lucidité

Voici un échange fictif, inventé pour cet article, et la façon de le lire.

Vous : J’ai eu une journée difficile. Personne au travail ne m’a écouté.
Personnage : Je suis vraiment désolé. Ça semble épuisant. Je suis toujours là pour t’écouter, et je ne t’ignorerai jamais.

Ces mots peuvent quand même vous aider à vous sentir plus calme, et c’est très bien. L’important est de voir la réponse comme un texte bien tourné, pas comme une relation.

Comment garder des limites saines?

Commencez par le temps et le but. Décidez à quoi sert une séance, comme une histoire, de la pratique ou un peu de plaisir, et fixez-lui une fin. Si vous remarquez que vous vous tournez vers un personnage au lieu d’appeler un ami, ou que vous êtes contrarié quand le site est en panne, voyez-y un signe qu’il est temps de prendre du recul.

Gardez vos renseignements personnels pour vous. Évitez les vrais noms, les adresses, les lieux de travail, les renseignements de santé et tout ce que vous ne publieriez pas publiquement. Considérez les faits et les conseils comme des points de départ à vérifier ailleurs, et ne vous fiez jamais à un personnage pour des décisions médicales, juridiques ou financières. Si vous traversez une période difficile sur le plan émotif, un personnage ne remplace ni une personne de confiance ni un professionnel.

Un mot aux parents. Les conditions d’utilisation de Character.AI indiquent que les personnes de moins de 16 ans ne peuvent pas s’inscrire. Des adolescents trouvent quand même ces sites; parlez donc avec eux du fonctionnement des personnages, à l’aide de l’idée d’ELIZA et de l’avertissement « tout est inventé ». Demandez-leur de vous montrer un personnage qu’ils aiment, gardez les appareils dans les pièces communes pour les plus jeunes, et faites en sorte qu’il leur soit facile de vous dire si une conversation est devenue gênante.