Qu’est-ce que le test de Turing, et est-il encore pertinent?

En 1950, le mathématicien britannique Alan Turing a publié dans la revue de philosophie Mind un article intitulé « Computing Machinery and Intelligence ». Au lieu de débattre du sens du mot « penser », il a proposé un jeu. Un juge est assis dans une pièce et échange des messages tapés au clavier avec deux joueurs cachés. L’un est une personne, l’autre une machine. Si le juge n’arrive pas à les distinguer mieux que par hasard, la machine a accompli quelque chose d’intéressant.

Ce jeu, qu’on appelle aujourd’hui le test de Turing, a près de soixante-dix ans et revient chaque fois qu’un robot conversationnel fait l’actualité. Il vaut la peine de comprendre exactement ce que Turing a proposé, parce que la version populaire diffère souvent un peu de l’original.

Comment fonctionne le jeu de l’imitation

Turing part d’un jeu de société. Un homme et une femme sont assis dans des pièces séparées, et un interrogateur, qui ne peut pas les voir, tente de deviner qui est qui en posant des questions. Les réponses sont tapées, idéalement transmises par téléimprimeur, pour que ni la voix ni l’écriture ne trahissent rien. Turing demande alors : que se passe-t-il si une machine prend l’une des places? L’interrogateur se trompera-t-il aussi souvent qu’avant?

Dans la version que la plupart des gens décrivent aujourd’hui, le dispositif est plus simple :

Turing a aussi fait une prédiction. Il croyait que d’ici une cinquantaine d’années, des ordinateurs dotés d’une capacité de stockage d’environ 10^9 (un milliard d’unités de mémoire) pourraient jouer si bien qu’un interrogateur moyen n’aurait pas plus de 70 % de chances de voir juste après cinq minutes de questions. Autrement dit, la machine tromperait les juges environ 30 % du temps.

Pourquoi Turing a posé la question ainsi

Turing jugeait la question de départ, « Les machines peuvent-elles penser? », trop vague pour être tranchée. Un test fondé sur le comportement donne quelque chose qu’on peut réellement faire passer. Pas besoin de s’entendre sur une définition de l’esprit; il suffit d’observer ce qui se passe dans la conversation.

Il a aussi consacré une bonne partie de l’article à répondre à des objections. Il en a nommé une d’après Ada Lovelace, qui avait écrit en 1843 que la machine ne pouvait que suivre nos ordres. Turing a répondu que les machines pourraient apprendre, et il a proposé de construire une « machine-enfant » et de l’éduquer.

Les principales critiques

Le test a été influent et largement critiqué. En 1980, le philosophe John Searle a décrit sa « chambre chinoise » : une personne qui suit un livre de règles pourrait produire des réponses fluides en chinois sans comprendre un seul mot. Searle soutenait que réussir le test montrerait une bonne manipulation de symboles, pas de la compréhension.

Des concours concrets ont soulevé d’autres doutes. Le prix Loebner, financé par Hugh Loebner, organise chaque année des compétitions inspirées du test de Turing depuis novembre 1991. Le premier gagnant était un programme simple qui a trompé des juges inexpérimentés, en partie en imitant les fautes de frappe humaines. Cela met en lumière une vraie faiblesse : le test récompense le fait de paraître humain, ce qui peut inclure des erreurs volontaires, des blagues et des changements de sujet.

On croise aussi une version inversée du test presque tous les jours. Un CAPTCHA, le texte déformé qu’on tape pour prouver qu’on n’est pas un robot, est un ordinateur qui essaie de distinguer les humains des machines.

Est-il encore pertinent?

Comme objectif de recherche, le test a perdu une bonne partie de son attrait. La plupart des chercheurs en IA évaluent aujourd’hui les systèmes sur des tâches précises : traduire, répondre à des questions, reconnaître des images. Tromper un juge dans une conversation banale en dit peu sur la capacité d’un système à faire un travail utile de façon fiable.

Comme outil d’enseignement, il reste excellent. Il oblige à séparer deux choses faciles à confondre : un comportement qui a l’air intelligent, et ce qui se passe réellement à l’intérieur. Chaque robot conversationnel que vous essayez est un petit test de Turing, et il est utile de savoir que c’est vous, le juge.

Un robot conversationnel pourrait-il réussir le test de Turing aujourd’hui?

Cela dépend des règles, et c’est justement là le problème. En juin 2014, lors d’un événement de la Royal Society organisé par Kevin Warwick, chercheur à l’Université de Reading, un robot conversationnel appelé Eugene Goostman a convaincu 33 % des juges, après des conversations de cinq minutes, qu’il était humain. Warwick a parlé de réussite, puisque le seuil de 30 % de Turing était franchi. Des critiques n’étaient pas d’accord. Goostman se fait passer pour un garçon ukrainien de 13 ans, un personnage choisi pour que la grammaire bancale et les lacunes de connaissances paraissent naturelles, et il esquive souvent les questions par l’humour. D’autres robots conversationnels avaient déjà obtenu des « réussites » semblables, dont Cleverbot au festival Techniche en 2011.

Ainsi, avec des conversations courtes, des juges inexpérimentés et un personnage qui excuse les erreurs, un robot conversationnel peut tromper une bonne part des gens. Avec des conversations plus longues, des juges experts et aucune excuse particulière, aucun programme n’a clairement réussi.

Un facteur nouveau fait son entrée. Le mois dernier, OpenAI a présenté GPT-2, un modèle de langage dont les courts échantillons sont souvent assez fluides pour passer pour de l’écriture humaine, même si OpenAI note qu’il peut se répéter et perdre le fil de la réalité. Un texte fluide n’est pas la même chose que tenir son bout dans une longue conversation exigeante. Malgré tout, bien des chercheurs s’attendent à ce que l’écart entre « avoir l’air humain » et « être utile » devienne la question centrale des années à venir, et le test de Turing est un bon point de départ pour y réfléchir.