Comment le réseau de neurones de Google a-t-il appris seul à reconnaître des chats en 2012?

En juin 2012, Google a publié un billet de blogue au résultat inhabituel. Ses chercheurs avaient montré pendant des jours des images fixes tirées de vidéos YouTube à un gigantesque réseau de neurones artificiels, sans lui dire ce que contenait chaque image. Quand ils ont regardé à l’intérieur ensuite, ils ont trouvé qu’un de ses neurones artificiels s’activait fortement chaque fois qu’un chat apparaissait. Personne ne lui avait montré une seule image marquée « chat ».

L’histoire s’est vite répandue, en partie parce que les chats et YouTube font une bonne manchette. En dessous se trouvait une question sérieuse : une machine peut-elle découvrir par elle-même des concepts qui ont du sens, simplement en regardant assez de données brutes?

Qui l’a fait, et quand

Les travaux venaient d’un projet interne de Google qui a pris le nom de Google Brain. Il a commencé en 2011, quand Jeff Dean et Greg Corrado, de Google, se sont associés à temps partiel avec Andrew Ng, un professeur de Stanford intéressé par l’apprentissage profond, pour le construire à très grande échelle. Ils ont créé un logiciel appelé DistBelief pour répartir un seul réseau de neurones sur de nombreuses machines dans les centres de données de Google.

L’article, « Building High-level Features Using Large Scale Unsupervised Learning », compte huit auteurs menés par Quoc V. Le, de Stanford. Une première version a été mise en ligne en décembre 2011, et l’équipe l’a présentée à l’International Conference on Machine Learning (ICML) à Édimbourg, en Écosse, en juin 2012. Google l’a annoncé au public le 26 juin 2012 dans un billet de Dean et Ng, et le New York Times a couvert le résultat le même mois.

Ce qu’ils ont construit

L’échelle était la grande nouvelle. La plupart des réseaux de neurones utilisés comptaient entre 1 million et 10 millions de connexions, selon le billet de Google. Celui-ci en avait environ 1 milliard. Il a tourné sur 1 000 machines de 16 cœurs chacune, 16 000 cœurs en tout, pendant trois jours.

Les données d’entraînement étaient 10 millions d’images de 200 sur 200 pixels, tirées de vidéos YouTube choisies au hasard. Point crucial, aucune ne portait d’étiquette. Le réseau avait neuf couches et appartenait à un type appelé autoencodeur parcimonieux (sparse autoencoder).

La façon la plus simple de comprendre un autoencodeur, c’est d’y voir un jeu de compression. Le réseau comprime chaque image en un court résumé interne, puis tente de reconstruire l’image originale à partir de ce seul résumé. Pour bien la reconstruire, il doit garder l’essentiel et jeter le bruit. « Parcimonieux » signifie que seules quelques unités internes ont le droit d’être actives pour une image donnée, ce qui pousse chaque unité à se spécialiser dans un type de motif.

Les étapes ressemblaient à ceci :

1. Fournir une image tirée de YouTube, sans étiquette.
2. Le réseau l’encode couche par couche en un ensemble compact d’unités actives.
3. Il décode ce résumé pour en refaire une image et mesure l’écart entre la copie et l’original.
4. Il ajuste légèrement ses connexions pour que la copie suivante soit meilleure.
5. Recommencer des millions de fois sur 16 000 cœurs.
6. Ensuite, montrer au réseau entraîné des images de test, certaines avec des visages ou des chats et d’autres sans, et chercher une unité qui s’allume pour un groupe et pas pour l’autre.

Ce qu’il a trouvé

Le meilleur « neurone des visages » distinguait les visages des non-visages avec une exactitude de 81,7 %, et il continuait de fonctionner quand les visages étaient déplacés, redimensionnés ou tournés. Le même réseau contenait des unités sensibles aux corps humains et aux têtes de chat; la meilleure unité « chat » atteignait 74,8 %. Les chercheurs s’étaient inspirés d’une vieille idée des neurosciences, parfois surnommée les « neurones grand-mère » : des cellules du cerveau qui réagiraient à une seule chose précise, comme le visage de votre grand-mère.

L’équipe a ensuite vérifié l’utilité de ces caractéristiques apprises seules. En s’en servant comme point de départ, et en ajoutant seulement ensuite des exemples étiquetés, elle a atteint une exactitude de 15,8 % sur une version d’ImageNet comptant environ 22 000 catégories. Cela semble faible, mais avec autant de choix, c’était une amélioration relative de 70 % par rapport au meilleur résultat précédent.

Pourquoi c’était important

Le résultat du chat a montré que de très grands réseaux, avec assez de puissance de calcul, pouvaient apprendre des concepts utiles à partir de données non étiquetées. Il a aussi prouvé que l’infrastructure de Google pouvait entraîner des réseaux bien plus gros que tout ce qu’on avait utilisé jusque-là. Google a dit aussitôt qu’elle appliquait l’approche à la reconnaissance vocale et au langage, et en mars 2013 elle a embauché Geoffrey Hinton, dont l’équipe de Toronto venait de remporter le concours ImageNet 2012 avec AlexNet.

Le projet lui-même est passé du laboratoire expérimental Google X à l’organisation de recherche principale de Google. Et l’idée d’apprendre à partir d’énormes quantités de données non étiquetées est au cœur des modèles de langage actuels, comme GPT-3, qui apprennent en lisant du texte brut sans aucune étiquette humaine.

Quelle est la différence entre l’apprentissage supervisé et l’apprentissage non supervisé?

En apprentissage supervisé, chaque exemple d’entraînement vient avec la bonne réponse. Vous montrez au système une photo et l’étiquette « chat », des milliers de fois, et il apprend à associer des images à des étiquettes. La victoire d’AlexNet à ImageNet relevait de l’apprentissage supervisé : 1,2 million de photos, chacune étiquetée par des personnes.

En apprentissage non supervisé, il n’y a pas de réponses. Le système ne reçoit que les données brutes et doit y trouver une structure par lui-même, en regroupant des éléments semblables, en comprimant les données ou en prédisant des morceaux manquants. Le réseau du chat de Google était non supervisé : il ne voyait que des pixels, et son concept de « chat » a émergé des données.

Les étiquettes coûtent cher, parce que des personnes doivent les créer à la main, alors que les données non étiquetées sont partout. C’est pourquoi les chercheurs cherchent sans cesse des façons d’apprendre le plus possible sans étiquettes, puis d’utiliser un petit ensemble étiqueté à la fin, exactement comme l’a fait l’équipe de Google. GPT-3 suit une approche voisine : il apprend en prédisant le mot suivant dans du texte ordinaire, si bien que le texte lui-même fournit les réponses et que personne n’a à étiqueter quoi que ce soit.