Qu’est-ce qu’ImageNet, et pourquoi une collection de photos étiquetées a-t-elle changé l’IA?

Si vous voulez apprendre à un enfant ce qu’est un chien, vous lui montrez des chiens : des gros, des petits, des chiens au parc, des chiens sur le canapé, des chiens à moitié cachés derrière une clôture. Un ordinateur qui apprend à reconnaître des images a besoin de la même chose, mais en bien plus grande quantité. Au milieu des années 2000, les collections d’images qu’utilisaient les chercheurs comptaient quelques dizaines ou quelques centaines de catégories. ImageNet s’est donné pour but de couvrir presque tous les noms qu’on peut photographier.

Le projet a été dirigé par Li Fei-Fei, qui a commencé à travailler sur l’idée en 2006, et il est devenu le travail d’une équipe à l’Université de Princeton. Sa première description officielle, un article de six auteurs de Princeton, avec Jia Deng en premier et Li Fei-Fei en dernier, a été présentée en juin 2009 à CVPR, la principale conférence annuelle en vision par ordinateur, tenue cette année-là en Floride.

Ce qu’est ImageNet

ImageNet emprunte sa structure à WordNet, un grand dictionnaire de l’anglais construit à Princeton qui regroupe les mots selon leur sens. Dans WordNet, un ensemble de mots qui veulent dire la même chose, comme « dog, domestic dog, Canis familiaris », s’appelle un synset. Les synsets sont disposés en arbre : « chien » se trouve sous « canidé », qui se trouve sous « carnivore », puis « mammifère », et ainsi de suite. WordNet compte environ 80 000 synsets de noms.

Fei-Fei Li a rencontré Christiane Fellbaum, l’une des créatrices de WordNet, pour discuter du projet; Wikipédia date la rencontre de 2007 dans son texte principal, alors qu’un article qu’elle cite la situe en 2006. L’objectif sur lequel elles se sont entendues était ambitieux : pour chaque synset de nom, recueillir de 500 à 1 000 photos propres en pleine résolution. Une fois terminé, cela représenterait des dizaines de millions d’images.

L’article de 2009 présentait la première étape : 12 branches de l’arbre, dont les mammifères, les oiseaux, les poissons, les véhicules, les meubles, les instruments de musique, les outils, les fleurs et les fruits, couvrant 5 247 synsets et 3,2 millions d’images. C’était déjà beaucoup plus grand et plus varié que les jeux de données que les chercheurs utilisaient jusque-là.

Comment les photos ont été recueillies et vérifiées

Construire à la main, dans un laboratoire, une base de données de cette taille aurait pris des décennies. L’équipe a utilisé deux outils : les moteurs de recherche d’Internet et des foules de travailleurs en ligne rémunérés.

Voici la chaîne de traitement, étape par étape :

1. Rechercher. Pour chaque synset, interroger plusieurs moteurs de recherche d’images avec tous ses synonymes. Pour obtenir plus de résultats, ajouter un mot parent (une recherche pour « whippet » essaie aussi « whippet dog » et « whippet greyhound »).
2. Traduire. Lancer les mêmes recherches en chinois, en espagnol, en néerlandais et en italien pour élargir le bassin.
3. Éliminer les doublons. En moyenne, chaque synset se retrouve avec plus de 10 000 images candidates.
4. Vérifier. Seulement environ 10 % des résultats bruts montrent vraiment la bonne chose; chaque candidate est donc présentée à des travailleurs d’Amazon Mechanical Turk, un marché en ligne de petites tâches rémunérées, avec la définition du synset. Ils répondent à une seule question : cette image contient-elle cet objet?
5. Voter. Plusieurs travailleurs examinent chaque image, et les réponses sont combinées; les catégories plus difficiles exigent un accord plus large avant qu’une image soit acceptée.

Les auteurs ont vérifié un échantillon aléatoire de 80 synsets et ont constaté que les étiquettes étaient justes dans environ 99,7 % des cas. Selon Wikipédia, l’étiquetage s’est déroulé de juillet 2008 à avril 2010 et a mobilisé environ 49 000 travailleurs dans 167 pays, qui ont trié plus de 160 millions d’images candidates.

De la base de données au concours

Un jeu de données est plus utile quand tout le monde s’en sert pour les tests de la même façon. En 2010, l’équipe d’ImageNet, en collaboration avec les organisateurs du défi de reconnaissance visuelle PASCAL, plus modeste, a lancé l’ImageNet Large Scale Visual Recognition Challenge. Il utilisait un ensemble réduit de 1 000 catégories, dont de nombreuses races de chiens difficiles à distinguer même pour des humains.

Les résultats racontent l’histoire de la décennie :

« Top-5 » signifie que le système a droit à cinq essais par image et que la réponse compte comme juste si la bonne étiquette figure parmi eux.

Pourquoi ImageNet a compté

C’est le résultat de 2012 qui a changé le domaine. AlexNet, entraîné sur des processeurs graphiques, a battu toutes les méthodes traditionnelles par une large marge, et les chercheurs de toute la vision par ordinateur sont passés aux réseaux de neurones profonds presque du jour au lendemain. Wikipédia cite The Economist, selon qui les gens de toute l’industrie technologique ont commencé à y prêter attention. Une grande partie de l’apprentissage profond utilisé pour les tâches liées aux images en 2020, de la recherche de photos à l’imagerie médicale, remonte à ce moment.

ImageNet a aussi changé la façon de faire de la recherche en IA. Il a montré qu’un grand jeu de données public, construit avec soin et accompagné d’un banc d’essai commun, pouvait faire avancer tout un domaine plus vite que n’importe quel algorithme astucieux à lui seul.

Il est aussi devenu une étude de cas sur les risques des grands jeux de données. Entre 2018 et 2020, l’équipe d’ImageNet a revu les 2 832 catégories qui décrivaient des personnes, a jugé plus de la moitié d’entre elles potentiellement offensantes et n’en a gardé qu’une petite fraction. Des chercheurs ont montré comment les étiquettes peuvent porter les biais des mots et des travailleurs qui sont derrière elles.

Pourquoi les données comptent-elles autant que l’algorithme?

Parce qu’un système d’apprentissage ne peut apprendre que ce que ses exemples lui montrent. Un algorithme astucieux entraîné sur quelques milliers de photos échouera quand même devant la variété du monde réel; un algorithme assez ordinaire entraîné sur des millions de photos variées et correctement étiquetées peut se débrouiller étonnamment bien. Le pari de Li Fei-Fei, à un moment où la majeure partie du domaine se concentrait sur la conception de meilleurs modèles, était que les données elles-mêmes constituaient le goulot d’étranglement.

La même leçon vaut pour les modèles de langage qui font les manchettes en 2020. GPT-3 est impressionnant en partie grâce à sa conception, mais surtout parce qu’il a appris à partir d’une énorme quantité de texte. Et tout comme avec ImageNet, ce que contiennent ces données, y compris leurs erreurs et leurs biais, se retrouve dans ce que le modèle produit.

Pour quiconque construit avec l’IA, la leçon pratique est simple : avant de blâmer le modèle, regardez les exemples à partir desquels il a appris.