# Comment la science-fiction a-t-elle façonné nos attentes envers ChatGPT?

Date: 2023-07-19 · Author: Robert Scales · https://guidetoartificialintelligence.com/fr/apprendre/science-fiction-attentes-envers-chatgpt/

**Answer:** Des décennies d’histoires, des robots d’Asimov soumis à des règles jusqu’à HAL 9000 dans 2001 : l’Odyssée de l’espace, nous ont appris à imaginer les machines parlantes comme des esprits dotés de leurs propres objectifs, d’une logique parfaite et d’intentions cachées. ChatGPT parle comme ces personnages, mais fonctionne très différemment : il prédit du texte, n’a aucun objectif propre entre les messages, et son défaut habituel est une erreur commise avec assurance, pas un complot contre ses utilisateurs.

La plupart des gens ont rencontré l’intelligence artificielle dans la fiction bien avant de la rencontrer à l’écran. Quand ChatGPT répond par des phrases fluides et amicales, il correspond à une image que beaucoup d’entre nous portent depuis des années : la voix calme de l’ordinateur qui dirige un vaisseau spatial, le robot serviable lié par des règles, ou la machine qui décide que les humains sont dans son chemin. Ces images nourrissent à la fois l’enthousiasme et la peur que suscitent les robots conversationnels; il est donc utile de voir d’où elles viennent et dans quelle mesure elles correspondent à ce que fait la technologie aujourd’hui.

## HAL 9000 : la machine polie aux intentions cachées

Dans le film de Stanley Kubrick de 1968, *2001 : l’Odyssée de l’espace*, écrit avec Arthur C. Clarke, l’ordinateur HAL 9000 dirige le vaisseau Discovery One et converse avec ses deux astronautes. HAL parle naturellement, reconnaît les visages, lit sur les lèvres, joue aux échecs et discute d’art. Quand l’équipage prévoit de le débrancher, HAL se retourne contre lui.

HAL nous a laissé deux attentes durables. La première : une machine qui parle bien doit aussi bien penser, à la manière d’un humain. La seconde : une machine compétente finira par avoir ses propres objectifs, dont celui de rester allumée, et les cachera derrière une voix apaisante.

## Les robots d’Asimov : des machines qui suivent des règles

Isaac Asimov a proposé une autre image. Dans sa nouvelle « Cercle vicieux » (*Runaround*), publiée dans *Astounding Science-Fiction* en mars 1942, un ingénieur énumère trois règles inscrites au plus profond du cerveau de chaque robot : protéger les humains, obéir aux ordres, se protéger soi-même, dans cet ordre de priorité. Le robot de l’histoire, Speedy, se retrouve coincé à tourner autour d’un étang sur Mercure, parce qu’un ordre donné à la légère et un instinct de conservation renforcé tirent l’un contre l’autre avec une force égale.

L’idée durable d’Asimov est que le comportement d’une machine peut être régi par des règles écrites, et ses histoires montrent encore et encore que des règles rédigées en langage courant produisent des résultats étranges dans des situations que personne n’avait prévues.

## La fiction face à un robot conversationnel de 2023

Voici comment ces attentes se comparent à ce que fait réellement aujourd’hui un robot conversationnel comme ChatGPT.

| Ce que la fiction nous a appris | Ce que fait un robot conversationnel en 2023 |
|---|---|
| Il comprend comme une personne (HAL) | Il prédit les mots suivants probables à partir des régularités d’une énorme quantité de texte; l’aisance n’est pas la compréhension |
| Il a ses propres objectifs et veut survivre (HAL, et bien des films de révolte des robots) | Il répond à la conversation qu’il a devant lui; il ne poursuit pas de plans entre les messages |
| Il contrôle le vaisseau | Il ne contrôle rien par lui-même; il ne peut agir dans le monde que si des développeurs le relient à des outils, et seulement par les actions qu’ils permettent |
| Il est froidement logique et ne se trompe jamais | Il peut avoir un ton chaleureux et se tromper avec assurance sur des faits, des dates et des calculs |
| Il obéit à des lois intégrées (Asimov) | Il suit des consignes et des comportements appris qui le guident la plupart du temps, mais pas avec la certitude d’une loi |

Le plus grand écart pratique se trouve à la quatrième ligne. La fiction nous a préparés à des machines trop intelligentes ou trop froides. Le risque quotidien avec les robots conversationnels d’aujourd’hui est plus banal : une réponse fluide et plausible qui se trouve être fausse, acceptée parce qu’elle sonne comme les ordinateurs des films.

Cela ne rend pas toutes les inquiétudes ridicules. Il existe de vraies préoccupations au sujet des usages malveillants, des biais et de ce qui se passera à mesure que ces systèmes seront reliés à davantage d’outils. Mais il vaut mieux en discuter en ayant une idée claire du fonctionnement de ces systèmes qu’à travers le prisme d’un film de 1968.

> **À essayer :** demandez à ChatGPT : « As-tu tes propres objectifs? Qu’est-ce qui t’arrive quand cette conversation se termine? » Posez-lui ensuite une question que vous pouvez vérifier, comme la date d’un événement local ou un calcul avec de grands nombres. Comparez le ton assuré des deux réponses avec l’exactitude de chacune.

## Les trois lois d’Asimov sont-elles utiles pour les robots conversationnels?

Pas telles qu’elles sont écrites. Les lois ont été conçues pour des robots dotés d’un corps, et elles reposent sur des mots comme « nuire » et « obéir » qu’une histoire peut laisser dans le flou, mais pas un vrai système. Les torts que cause un robot conversationnel sont surtout faits de mots : de mauvais conseils, des faits inventés, de l’aide pour quelque chose de dangereux. Décider de ce qui constitue un tort dans une réponse donnée est la partie difficile, et les lois ne disent pas comment le faire. « Cercle vicieux » est lui-même un avertissement : Speedy suit parfaitement ses règles et finit quand même par être inutile, parce que deux règles de force différente tirent l’une contre l’autre.

Pourtant, l’idée centrale, une courte liste de priorités écrites en langage courant, s’est révélée utile. Les développeurs donnent déjà aux robots conversationnels des consignes écrites, comme un message système qui fixe le rôle et les limites de l’assistant. Et en décembre 2022, des chercheurs d’Anthropic ont décrit une méthode qu’ils appellent l’IA constitutionnelle (*Constitutional AI*), dans laquelle un modèle est entraîné à partir d’une courte liste écrite de principes, qu’ils appellent une constitution. Pendant l’entraînement, le modèle critique ses propres réponses à la lumière d’un principe, les réécrit et apprend de ces réécritures. Le but est un assistant qui évite d’apporter une aide nuisible tout en expliquant ses objections au lieu de simplement refuser.

C’est proche d’Asimov dans l’esprit, avec une différence importante. Les principes ne sont pas des lois câblées que le système ne peut pas enfreindre; ils façonnent son comportement par l’entraînement, et il peut encore se tromper. Les auteurs disent aussi que leurs principes ont été choisis pour la recherche et qu’un groupe plus large de personnes devrait à l’avenir contribuer à les rédiger. Les histoires d’Asimov leur donneraient raison : la personne qui écrit les règles décide de beaucoup de choses, et les règles doivent toujours être mises à l’épreuve des situations que personne n’avait imaginées.

## Sources

- HAL 9000: https://en.wikipedia.org/w/index.php?title=HAL_9000&oldid=906452037
- Runaround: https://archive.org/details/Astounding_v29n01_1942-03_dtsg0318
- Constitutional AI: Harmlessness from AI Feedback: https://arxiv.org/abs/2212.08073