Que s’est-il passé au premier prix Loebner, le premier vrai concours de test de Turing?

En 1950, Alan Turing a proposé une expérience de pensée : si un juge qui converse par écrit ne peut pas distinguer de façon fiable une machine d’une personne, autant dire que la machine pense. Pendant quatre décennies, c’est resté une expérience de pensée. Puis, un vendredi après-midi de novembre 1991, quelqu’un l’a vraiment réalisée, avec un prix en argent, des arbitres, un public sur place et la presse aux aguets.

Cet événement, c’était le premier concours du prix Loebner. Il est devenu un concours annuel, et il reste la tentative la plus connue de transformer l’idée de Turing en véritable test.

Qui l’a organisé, et où?

L’argent venait de Hugh Loebner, un fabricant new-yorkais d’équipement de théâtre, qui a lancé le prix en 1990 avec le Cambridge Center for Behavioral Studies, au Massachusetts, un centre de recherche consacré à la psychologie béhavioriste. Robert Epstein, président émérite du centre, a organisé le premier concours. Un comité du prix présidé par le philosophe Daniel Dennett l’a dirigé; il comptait parmi ses membres Joseph Weizenbaum, l’auteur du célèbre programme ELIZA dans les années 1960, et le philosophe Willard Van Orman Quine.

Le comité a passé près de deux ans à le préparer. L’événement a eu lieu le 8 novembre 1991 au Computer Museum de Boston, où universitaires, gens d’affaires, journalistes et passants remplissaient deux étages. Loebner n’avait fixé que deux conditions : tenir un concours chaque année et décerner un prix chaque année. Le premier prix était d’un modeste 1 500 $ US. Loebner aurait réservé 100 000 $ US pour le premier programme qui réussirait un test complet, sans restriction.

Comment le concours fonctionnait-il?

Le comité savait qu’aucun programme existant ne survivrait à un test de Turing ouvert; il a donc assoupli les règles de deux façons :

1. Un sujet par terminal. Chaque interlocuteur caché, humain ou machine, choisissait un seul sujet, et les juges devaient s’y tenir.
2. Pas de pièges. On a demandé aux juges de converser naturellement, comme avec une autre personne, plutôt que de tendre des pièges.

Les juges eux-mêmes ont été choisis pour être des gens ordinaires. Ils avaient répondu à une offre d’emploi dans un journal qui ne demandait guère plus que de savoir taper, et ils ont été sélectionnés pour n’avoir aucune formation particulière en informatique. Les humains cachés derrière certains terminaux étaient appelés des « complices ».

Le pointage fonctionnait ainsi :

La ligne de l’étape 3 n’avait aucun effet sur le prix. Elle servait aux organisateurs à compter combien de fois un programme était pris pour une personne.

Que s’est-il passé ce jour-là?

Les choses ont mal tourné presque tout de suite. Le plan prévoyait dix interlocuteurs cachés, dont quatre humains. Mais les ordinateurs IBM loués pour les complices refusaient de communiquer avec les terminaux des juges. Après près de deux heures de réparations de dernière minute, le comité a commencé avec seulement deux complices humains, et a réduit chaque conversation d’environ quinze minutes à environ sept, pour que les journalistes respectent leurs heures de tombée. Dans un grand auditorium, toutes les conversations étaient projetées sur des écrans pendant que l’écrivain A. K. Dewdney les commentait en direct.

Six programmes étaient en lice, sur des sujets dignes d’un cocktail : le vin de Bourgogne, les martinis secs, les banalités de conversation, les problèmes de couple, les matières scolaires de deuxième année et la « conversation fantaisiste ». Les deux humains parlaient de Shakespeare et de vêtements pour femmes.

Comme prévu, les juges ont classé les deux humains comme les plus humains dans l’ensemble. Le meilleur programme était celui de conversation fantaisiste de Joseph Weintraub, qui a remporté les 1 500 $ US. Les surprises sont venues des lignes de partage. Cinq des dix juges ont placé le programme de Weintraub du côté humain et, tous juges confondus, il y a eu huit cas où un programme a été jugé humain. Un programme de Kenneth Colby, connu pour PARRY, un programme plus ancien qui imitait un patient paranoïaque, a été jugé humain deux fois. Pendant ce temps, Cynthia Clay, l’experte de Shakespeare, a été prise pour un ordinateur trois fois; un juge a expliqué qu’« [aucun] humain n’aurait autant de connaissances sur Shakespeare ».

Pourquoi est-ce important?

Le concours a rendu le test de Turing concret, et il a attiré beaucoup d’attention. Il a aussi suscité de vives critiques. Stuart Shieber, de Harvard, qui était arbitre dans la salle des complices, a soutenu dans un article de 1994 que limiter le sujet et interdire les questions pièges retirait exactement ce qui rend le test de Turing difficile. Marvin Minsky a qualifié le prix de coup de publicité et a offert, en blague, une récompense à quiconque réussirait à l’arrêter.

Les règles ont changé avec le temps. Depuis 1995, les conversations sont sans restriction. Des robots conversationnels construits à partir de grands ensembles de motifs écrits à la main, comme A.L.I.C.E. de Richard Wallace et Mitsuku de Steve Worswick, sont devenus des gagnants réguliers; Mitsuku l’a emporté cinq fois. En 2019, la formule a encore changé : à l’Université de Swansea, des membres du public, dont des écoliers, ont conversé avec dix-sept robots en sachant que c’étaient des robots, et aucun concurrent humain n’a participé.

Pendant ce temps, les plus récents modèles de langage en IA sont entraînés sur d’énormes quantités de texte plutôt que construits à partir de répliques scénarisées, ce qui redonne de la fraîcheur à la vieille question : comment juger un interlocuteur?

Un robot conversationnel peut-il gagner le prix Loebner sans rien comprendre?

Oui, et le premier concours a montré pourquoi. Dans un échange tiré des transcriptions, le programme gagnant de Weintraub a répondu par une remarque sur la météo suivie de la propre phrase du juge, pronoms inversés. Sous l’étiquette « conversation fantaisiste », une réponse insensée passait pour de l’espièglerie plutôt que pour un échec. Shieber a fait remarquer que la fantaisie est un style, pas un sujet, et qu’il est presque impossible de la prendre en défaut.

Des limites de temps courtes, des juges sans formation et l’interdiction des questions difficiles favorisent tous les trucs plutôt que la compréhension. Un programme n’a pas besoin de connaître quoi que ce soit au vin pour esquiver, changer de sujet ou flatter. Les critiques du prix soutiennent que cela récompense la tromperie, soit le contraire de ce que les chercheurs veulent construire.

Cela ne rend pas le concours inutile pour autant. C’est une bonne mesure de la facilité avec laquelle les gens prêtent un esprit à du texte sur un écran, une leçon que Weizenbaum avait déjà tirée d’ELIZA. Mais le réussir, dans sa forme restreinte, en dit plus sur les juges que sur la machine.