# Qu’est-ce que l’argument de la chambre chinoise de John Searle, et montre-t-il que les ordinateurs ne peuvent pas comprendre?

Date: 2019-12-21 · Author: Robert Scales · https://guidetoartificialintelligence.com/fr/apprendre/argument-de-la-chambre-chinoise/

**Answer:** La chambre chinoise est une expérience de pensée publiée en 1980 par John Searle, philosophe à Berkeley : un homme qui ne connaît pas le chinois suit un manuel de règles en anglais pour répondre à des questions en chinois, si bien que les gens de l’extérieur le croient bilingue, alors qu’il ne comprend rien. Searle en concluait qu’exécuter un programme, aussi bonnes que soient ses réponses, ne suffit jamais à lui seul à une véritable compréhension; la question de savoir s’il avait raison reste l’une des plus débattues de la philosophie de l’IA.

Supposons qu’un ordinateur réponde à vos questions sur une histoire aussi bien qu’une personne. Comprend-il l’histoire? Alan Turing a suggéré en 1950 que si l’on ne peut pas distinguer les réponses d’une machine de celles d’un humain, on a de bonnes raisons de la dire intelligente. En 1980, le philosophe John Searle, de l’Université de Californie à Berkeley, a proposé une courte expérience de pensée destinée à montrer que c’est une erreur. On l’a appelée la chambre chinoise, et quatre décennies de débats ne l’ont pas tranchée.

L’argument a paru dans l’article de Searle « Minds, Brains, and Programs », publié dans la revue *Behavioral and Brain Sciences* en 1980. La revue l’a imprimé avec les commentaires de 27 chercheurs et les réponses de Searle. Il avait déjà mis l’argument à l’épreuve lors de conférences dans plusieurs universités, et il répondait dans l’article même aux objections les plus courantes.

## L’expérience de pensée

Searle vous demande de l’imaginer enfermé dans une pièce. Il ne connaît pas un mot de chinois; pour lui, les caractères chinois ne sont que des formes. Des gens à l’extérieur lui passent des feuilles couvertes d’écriture chinoise. À l’intérieur, il dispose d’un gros livre de règles écrites en anglais, qui lui disent, uniquement d’après la forme des symboles, quels symboles chinois renvoyer en réponse.

À son insu, les feuilles contiennent une histoire et des questions à son sujet, et les symboles qu’il renvoie sont des réponses. Le manuel est si bon que, pour les gens de l’extérieur, ses réponses ressemblent exactement à celles d’une personne de langue maternelle chinoise. Selon les mots de Searle : « Personne qui se contente de regarder mes réponses ne peut deviner que je ne parle pas un mot de chinois. »

Pourtant, il ne comprend rien. Et c’est exactement, soutient Searle, la situation d’un ordinateur. Un ordinateur suit un programme qui manipule des symboles selon leur forme. L’homme dans la pièce fait la même chose. S’il n’acquiert aucune compréhension en exécutant le programme, aucun ordinateur n’en acquiert non plus, puisque l’ordinateur n’a rien de plus que lui.

Voici une toute petite version que vous pouvez vous représenter :

| Étape | Ce qui entre | Ce que dit le manuel | Ce qui sort |
|---|---|---|---|
| 1 | La forme ◆ suivie de la forme ▲ | « Si tu vois ◆▲, renvoie ● » | ● |
| 2 | La forme ■ | « Si tu vois ■ après ●, renvoie ◆◆ » | ◆◆ |
| 3 | Les gens de l’extérieur lisent ◆▲ comme « As-tu faim? » et ● comme « Oui, très. » | Celui qui suit les règles n’apprend jamais ni l’un ni l’autre sens | Une « conversation » sans aucune compréhension à l’intérieur |

> **À essayer :** avec un ami, inventez cinq symboles et une carte de règles qui associe des questions à des réponses. Demandez à une troisième personne de « clavarder » avec la carte de règles au moyen des symboles. Ensuite, demandez à la personne qui suivait les règles de quoi parlait la conversation.

## Ce que Searle contestait

Searle distinguait deux positions. L’**IA faible** dit que les ordinateurs sont de puissants outils pour étudier l’esprit, qui aident les chercheurs à formuler et à tester leurs théories avec précision. Il n’avait rien contre cela. L’**IA forte** dit qu’un ordinateur qui exécute le bon programme *a* littéralement un esprit et comprend, et que le programme explique comment fonctionne la compréhension humaine. C’était là sa cible.

Son exemple concret était le travail de Roger Schank et de ses collègues à Yale. Leurs programmes lisaient de courtes histoires, comme celle d’un homme qui commande un hamburger, le trouve brûlé et part en furie sans payer, puis répondaient à des questions comme « L’homme a-t-il mangé le hamburger? », même si l’histoire ne le dit jamais. Leurs partisans affirmaient que ces programmes comprenaient les histoires. Searle disait que le même argument s’appliquait au SHRDLU de Terry Winograd, à l’ELIZA de Joseph Weizenbaum et à toute simulation de l’esprit par ordinateur.

Sa distinction clé opposait la **syntaxe**, la forme des symboles et les règles pour les combiner, à la **sémantique**, ce que les symboles veulent dire. Un programme, soutenait-il, est défini uniquement par sa syntaxe, et la syntaxe seule ne produit jamais de sens.

## Les principales répliques

Searle a énuméré six objections et a répondu à chacune. Trois d’entre elles sont encore au cœur du débat :

- **La réplique du système** (venue de Berkeley) : l’homme ne comprend pas le chinois, mais le système entier, l’homme plus le manuel plus le papier, le comprend. Searle a répondu que l’homme pourrait mémoriser les règles et tout faire dans sa tête; il serait alors le système entier et ne comprendrait toujours rien. C’est la réplique la plus courante, et le débat à son sujet ne s’est jamais éteint.
- **La réplique du robot** (venue de Yale) : placez le programme dans un robot muni de caméras et de bras, afin que ses symboles soient reliés au monde. Searle a répliqué que l’homme recevrait simplement plus de symboles, venant désormais de capteurs, et ne saurait toujours pas ce qu’ils veulent dire.
- **La réplique du simulateur de cerveau** : faites en sorte que le programme simule l’activation des neurones d’une personne qui parle chinois. Searle a répondu que simuler la structure formelle du cerveau laisse encore de côté ses pouvoirs physiques et causaux.

La position de Searle lui-même est que l’esprit vient de processus biologiques. Une machine pourrait penser, disait-il, mais seulement une machine dotée de pouvoirs causaux équivalents à ceux d’un cerveau; un programme seul ne suffit jamais.

## Pourquoi il a compté

La chambre chinoise est devenue peut-être l’argument le plus discuté en sciences cognitives depuis le test de Turing. La Stanford Encyclopedia of Philosophy note qu’au milieu des années 1990, plus de 100 articles lui avaient été consacrés, et l’informaticien Pat Hayes a lancé en blague que les sciences cognitives étaient le projet continu de le réfuter. Il a obligé les chercheurs en IA à dire clairement ce qu’ils entendaient par « comprendre », et il a donné aux critiques un moyen simple et frappant de mettre en doute les affirmations selon lesquelles un programme saisit ce qu’il dit.

## La chambre chinoise s’applique-t-elle aux modèles de langage d’aujourd’hui?

Bien des gens pensent qu’elle leur correspond de près. Un système comme GPT-2 d’OpenAI, qui a beaucoup attiré l’attention en 2019, écrit des paragraphes fluides en prédisant les mots suivants probables à partir des régularités d’une énorme quantité de texte. Il n’a aucun lien direct avec les choses auxquelles les mots renvoient. Searle dirait que c’est un très gros manuel de règles, et que l’aisance n’est pas la compréhension.

D’autres répondent avec des versions des anciennes répliques. Les partisans de la réplique du système disent que la compréhension pourrait appartenir au réseau entraîné dans son ensemble, et non à une étape isolée, tout comme aucun neurone de votre tête ne comprend le français à lui seul. Les chercheurs qui travaillent sur des modèles reliant le texte aux images, au son ou aux capteurs de robots poursuivent, en fait, la réplique du robot.

Ce que l’argument offre à une personne qui débute, c’est une habitude utile. Quand un programme donne une bonne réponse, posez deux questions distinctes : la réponse est-elle juste, et le programme la comprend-il? La chambre chinoise montre pourquoi ces deux questions peuvent se dissocier, et pourquoi tester le comportement seul ne suffit peut-être pas à trancher la seconde.

## Sources

- Minds, Brains, and Programs (penultimate draft): https://web.archive.org/web/20200106171424/http://cogprints.org/7150/1/10.1.1.83.5248.pdf
- The Chinese Room Argument: https://plato.stanford.edu/archives/fall2019/entries/chinese-room/