Le robot conversationnel Eugene Goostman a-t-il vraiment réussi le test de Turing en 2014?

Le dimanche 8 juin 2014, l’Université de Reading a diffusé un communiqué au titre spectaculaire : le test de Turing avait été réussi pour la première fois. Un programme informatique appelé Eugene Goostman avait trompé le tiers des juges lors d’un concours tenu la veille à la Royal Society de Londres. Des sites d’information du monde entier ont repris l’affirmation.

En quelques jours, elle était aussi mise en pièces. De nombreux chercheurs en IA ont soutenu que rien d’important ne s’était produit, et que l’annonce en disait plus sur la publicité que sur l’intelligence des machines. L’épisode vaut la peine d’être connu en détail, parce qu’il montre à quel point il est facile de proclamer une étape historique, et à quel point il est difficile d’en définir une.

Ce qui s’est passé à la Royal Society

L’événement, appelé Turing Test 2014, était organisé par Kevin Warwick, qui occupait un poste de professeur invité à Reading et un poste de chercheur principal à l’Université de Coventry, avec Huma Shah. Il a eu lieu le samedi 7 juin 2014, date choisie parce qu’elle marquait le 60e anniversaire de la mort d’Alan Turing. Turing avait reçu une grâce royale posthume environ six mois plus tôt.

Cinq robots conversationnels étaient en compétition. Selon l’université, 30 juges y ont participé, dont l’acteur Robert Llewellyn, qui jouait le robot Kryten dans la série humoristique Red Dwarf, et Lord Sharkey, qui avait milité pour la grâce de Turing. Chaque juge menait cinq tests, et dans chacun, il clavardait pendant cinq minutes avec deux interlocuteurs cachés en même temps, un humain et une machine, puis décidait qui était qui. Cela faisait 300 conversations, chaque machine participant à 30 tests. John Barnden, de l’Université de Birmingham, a vérifié les résultats de façon indépendante.

Eugene Goostman a été jugé humain dans 33 % de ses tests, soit environ 10 sur 30. L’équipe de Warwick avait fixé le seuil à 30 %; elle a donc annoncé une réussite. Warwick a insisté sur le fait que les conversations étaient libres, sans sujets imposés, ce qui en faisait selon lui le premier véritable test de Turing jamais réussi.

Qui, ou quoi, était Eugene?

Eugene Goostman n’était ni nouveau ni un superordinateur, malgré les premières manchettes; l’université a ensuite corrigé son communiqué pour parler d’un programme informatique. Il était en développement depuis 2001 à Saint-Pétersbourg, en Russie, par Vladimir Veselov, Eugene Demchenko et Sergey Ulasen, et avait pris la deuxième place du prix Loebner, un autre concours dans l’esprit du test de Turing, en 2005 et en 2008. En juin 2012, à Bletchley Park, il avait déjà convaincu 29 % des juges.

Le personnage du robot est Eugene, 13 ans, qui vit à Odessa, en Ukraine, et qui a un cochon d’Inde. Ce choix est une astuce de conception habile. Veselov a expliqué qu’un garçon de cet âge peut prétendre savoir des choses, mais qu’on lui pardonne facilement d’en ignorer d’autres, et qu’on pardonne à une personne dont l’anglais n’est pas la langue maternelle une grammaire étrange.

Voici comment Eugene s’est comporté avec l’informaticien Scott Aaronson, qui a publié l’un de ses échanges :

Pourquoi les experts ont rejeté l’affirmation

Les critiques ont soulevé plusieurs objections. La première porte sur le chiffre de 30 %. Dans son article de 1950, Turing prédisait que dans une cinquantaine d’années, un interrogateur moyen n’aurait pas plus de 70 % de chances de deviner juste après cinq minutes. C’était une prévision sur l’état des ordinateurs vers l’an 2000, pas une note de passage, et des commentateurs ont soutenu que Warwick en avait fait une.

La deuxième porte sur la méthode. Gary Marcus, spécialiste des sciences cognitives, a écrit que le succès du robot venait de diversions et d’esquives constantes, qu’un juge non formé pourrait prendre pour de l’esprit. Murray Shanahan, de l’Imperial College London, a qualifié l’affirmation de « complètement déplacée », disant qu’elle donnait l’impression que l’IA de science-fiction était proche alors qu’elle ne l’est pas. Mike Masnick, de Techdirt, s’est moqué de l’étiquette de « superordinateur ».

La troisième porte sur l’histoire. Des « réussites » semblables avaient déjà été revendiquées, par PC Therapist en 1991 et par une version modifiée de Cleverbot au festival Techniche en 2011. Le créateur de Cleverbot, Rollo Carpenter, a soutenu que de tels tests ne montrent qu’une imitation de l’intelligence. Le test lui-même, la façon dont Turing l’a formulé et les raisons pour lesquelles on en débat encore font l’objet d’un article distinct : « Qu’est-ce que le test de Turing, et est-il encore pertinent? »

À quoi ressemblerait un test de Turing convaincant?

La plupart des chercheurs s’entendent pour dire qu’une version sérieuse exigerait des conversations plus longues, des juges formés et sceptiques, et aucun personnage qui excuse l’ignorance. Cinq minutes, c’est très peu, et un juge qui ne sait pas comment fonctionnent les robots conversationnels peut se laisser charmer par des blagues. Un juge qui sonde le sens commun, la mémoire des réponses précédentes et le raisonnement étape par étape est beaucoup plus difficile à tromper.

Il faudrait aussi le répéter, avec de nombreuses séances et des règles claires convenues d’avance, plutôt qu’un seul événement déclaré réussi par ses propres organisateurs. Marcus a proposé un tout autre défi : un système capable de regarder une émission de télévision et de répondre à des questions sur ce qui s’y est passé.

La question prend un poids nouveau en 2021. Les grands modèles de langage comme GPT-3 écrivent des paragraphes fluides sur presque n’importe quel sujet, bien au-delà de ce qu’Eugene pouvait faire. Pourtant, quand la jeune pousse française en santé Nabla a testé GPT-3 comme robot conversationnel médical, contre l’avis d’OpenAI elle-même, il a donné à un patient simulé en détresse un conseil qui aurait pu causer un tort grave. L’aisance seule n’est pas la compréhension, et c’est exactement la leçon de l’affaire Eugene Goostman.