# Comment Watson d’IBM a-t-il battu les meilleurs joueurs humains à Jeopardy!?

Date: 2021-01-21 · Author: Robert Scales · https://guidetoartificialintelligence.com/fr/apprendre/watson-ibm-victoire-jeopardy/

**Answer:** Lors de matchs diffusés les 14, 15 et 16 février 2011, l’ordinateur Watson d’IBM a battu Ken Jennings et Brad Rutter, les deux champions les plus titrés de l’histoire du jeu-questionnaire américain Jeopardy!. Watson a gagné en faisant tourner en parallèle des centaines de méthodes d’analyse du langage pour proposer et noter des réponses possibles, et en n’appuyant sur le bouton que lorsque sa confiance était assez élevée.

Jeopardy! est un jeu de jeux de mots, d’allusions et de sens à moitié cachés. Un indice peut se lire ainsi : « Son plus grand aéroport porte le nom d’un héros de la Seconde Guerre mondiale; son deuxième, celui d’une bataille de la Seconde Guerre mondiale », et le candidat doit répondre sous forme de question : « Qu’est-ce que Chicago? » Pour un ordinateur des années 2000, c’était un problème bien plus difficile que les échecs. Les mots sont glissants, et l’émission récompense la rapidité autant que les connaissances.

En février 2011, IBM a montré qu’une machine pouvait jouer malgré tout. Son ordinateur, appelé Watson en l’honneur du premier président de l’entreprise, Thomas J. Watson père, a battu Ken Jennings, qui avait déjà gagné 74 parties de suite, et Brad Rutter, les deux joueurs qu’IBM décrit comme les plus grands champions de l’émission.

## Comment le défi est né

Après que son ordinateur Deep Blue eut battu le champion du monde d’échecs Garry Kasparov en 1997, IBM cherchait un autre grand défi. Les deux sources racontent l’origine un peu différemment. L’historique d’IBM dit que l’informaticien David Ferrucci a proposé l’idée de Jeopardy! à ses gestionnaires en 2006. Wikipédia ajoute une étape antérieure : en 2004, un gestionnaire d’IBM Research, Charles Lickel, a vu un restaurant se taire pour regarder la série de victoires de Jennings et a transmis l’idée, puis, en 2005, le dirigeant de la recherche Paul Horn l’a appuyée.

Les premiers résultats étaient décevants. En 2006, une première version a essayé 500 indices tirés d’anciennes émissions et n’a répondu correctement qu’à environ 15 % d’entre eux; les grands champions humains atteignent jusqu’à 95 %. L’équipe de Ferrucci, installée au centre de recherche d’IBM à Yorktown Heights, dans l’État de New York, a passé environ cinq ans à l’améliorer. IBM évalue l’équipe à plus de 24 personnes, entre chercheurs, ingénieurs et programmeurs; Wikipédia indique que le projet s’est vu attribuer un effectif de 15 personnes en 2007.

## Le match

Une partie d’essai a été enregistrée le 13 janvier 2011, et les parties officielles le lendemain. Elles ont été diffusées sur trois soirs, du 14 au 16 février 2011, sous la forme de deux parties complètes dont les scores ont été additionnés.

Watson apparaissait sur scène sous la forme d’un écran montrant un globe lumineux et parlait avec une voix de synthèse. Il n’était pas connecté à Internet. L’équipe de l’émission a exigé qu’il appuie sur un vrai bouton, comme les humains; il utilisait donc un « doigt » mécanique. Les téléspectateurs pouvaient voir les trois meilleures réponses candidates de Watson et sa confiance dans chacune.

Le moment le plus célèbre a été une erreur. Au Final Jeopardy! de la première partie, dans la catégorie « Villes des États-Unis », Watson a répondu « Qu’est-ce que Toronto????? » La série de points d’interrogation signalait une confiance très faible. Watson a tout de même terminé avec une avance confortable.

Totaux finaux des deux parties :

| Joueur | Score | Prix |
|---|---|---|
| Watson (IBM) | 77 147 $ US | 1 000 000 $ US, remis à des œuvres de bienfaisance |
| Ken Jennings | 24 000 $ US | 300 000 $ US |
| Brad Rutter | 21 600 $ US | 200 000 $ US |

Après la partie, Jennings a lancé : « “Candidat de jeu-questionnaire” est peut-être le premier emploi rendu inutile par Watson, mais je suis sûr que ce ne sera pas le dernier. »

## Comment Watson fonctionnait

Watson tournait sur un logiciel d’IBM appelé DeepQA (pour *deep question answering*, réponse approfondie aux questions). Malgré son nom, il n’utilisait pas de réseaux de neurones profonds. C’était une énorme chaîne de traitement composée de méthodes distinctes qui travaillaient ensemble :

1. **Analyser l’indice.** Déterminer quel genre de chose est demandé (une ville, une personne, une année) et repérer les termes clés.
2. **Générer des candidats.** Chercher dans sa bibliothèque stockée de nombreuses réponses possibles. Watson contenait environ 200 millions de pages de documents, dont des encyclopédies, des dictionnaires, des romans, des pièces de théâtre et le texte intégral de Wikipédia.
3. **Rassembler des preuves.** Pour chaque candidat, trouver des passages qui l’appuient ou le contredisent.
4. **Noter.** Des centaines d’algorithmes différents jugeaient chacun les candidats sous un angle différent : dates, lieux, correspondance des mots, catégories. Plus ils étaient nombreux à s’entendre sur une réponse, plus la confiance de Watson était élevée.
5. **Décider.** Appuyer sur le bouton seulement si la confiance dépassait un seuil, le tout en environ trois secondes.

Des modules de stratégie distincts décidaient quel indice choisir ensuite, où les Daily Doubles étaient probablement cachés et combien miser.

Le matériel remplissait une pièce : 90 serveurs IBM Power 750 répartis dans 10 baies. La page historique d’IBM compte 2 880 cœurs de processeur; Wikipédia décrit 2 880 fils d’exécution et 16 téraoctets de mémoire.

> **À essayer :** prenez l’indice de Toronto ci-dessus et répondez-y comme l’a fait Watson. Notez trois villes candidates, puis inscrivez un élément de preuve pour et un contre chacune. Remarquez comment un seul indice trompeur, comme une ville ayant une équipe de baseball de la Ligue américaine, peut faire pencher les scores.

## Pourquoi la victoire comptait

Watson a battu les meilleurs humains à un jeu qui se joue presque entièrement dans la langue de tous les jours. Les échecs, malgré toute leur profondeur, ont des règles fixes; les indices de Jeopardy! peuvent porter sur n’importe quoi et sont souvent volontairement piégés. IBM a présenté le résultat comme un bond en traitement automatique du langage naturel, la branche de l’IA qui s’occupe du langage humain.

Après l’émission, IBM a fait de Watson une activité commerciale, en appliquant la technologie à des domaines comme le service à la clientèle, les prévisions météorologiques et, à partir de 2016, un produit qui suggère des options de traitement du cancer.

Le match est aussi devenu un point de référence dans les discussions publiques sur l’IA et l’emploi, aidé par la boutade de Jennings.

## En quoi Watson diffère-t-il d’un modèle de langage comme GPT-3?

Watson était un ensemble soigneusement conçu de centaines de composants distincts, chacun écrit ou réglé par des experts, qui fouillait une bibliothèque fixe de documents à la recherche de preuves. Sa force était de savoir à quel point il était sûr de lui, et il n’écrivait jamais ses propres phrases au-delà de courtes réponses.

GPT-3, qu’OpenAI a présenté en 2020, adopte presque l’approche inverse. C’est un seul très grand réseau de neurones entraîné à prédire le mot suivant dans d’immenses quantités de texte. Il peut écrire des paragraphes, traduire et répondre à des questions sans chaîne de traitement bâtie à la main. Mais il ne cherche pas de preuves et n’a aucun sens fiable de ses erreurs : il peut donc énoncer de fausses réponses avec une aisance totale.

Chaque approche a quelque chose qui manque à l’autre. En 2021, des chercheurs explorent activement des façons de les combiner : des modèles de langage qui consultent des documents avant de répondre, et qui peuvent dire à quel point ils sont sûrs d’eux.

## Sources

- Watson, 'Jeopardy!' champion: https://www.ibm.com/history/watson-jeopardy
- IBM Watson: https://en.wikipedia.org/w/index.php?title=IBM_Watson&oldid=995056932