Qu’a prouvé le livre Perceptrons de Minsky et Papert, et a-t-il vraiment freiné les réseaux de neurones?

Peu de livres d’informatique ont une réputation aussi dramatique que celui-ci. Interrogez quelqu’un sur l’histoire des réseaux de neurones et vous entendrez souvent une version courte : en 1969, deux professeurs du MIT ont prouvé que les réseaux de neurones ne pouvaient même pas apprendre une simple fonction logique, et le financement a disparu pendant quinze ans. La véritable histoire est plus intéressante, plus technique et plus humaine.

Le contexte : le perceptron de Rosenblatt

En 1958, le psychologue Frank Rosenblatt a présenté le perceptron, une machine vaguement inspirée des cellules du cerveau. Elle reçoit de nombreuses entrées, comme les points clairs et sombres d’une image, multiplie chacune par un poids qui indique son importance, additionne le tout et donne une réponse par oui ou par non selon que le total dépasse ou non un seuil. Son attrait tenait à ce qu’elle pouvait apprendre : quand elle se trompait, une règle simple ajustait légèrement les poids, et Rosenblatt et ses collègues ont prouvé que cette règle finirait par trouver les bons poids chaque fois que de tels poids existaient.

L’idée a beaucoup attiré l’attention. Des articles de journaux et les déclarations de Rosenblatt lui-même laissaient entendre que de tels réseaux pourraient bientôt reconnaître des images, et bien plus encore. En même temps, une approche rivale, l’IA symbolique, qui travaille avec des règles et une logique explicites, prenait de l’ampleur, et les deux camps se disputaient le financement et le temps d’ordinateur, alors rare. Minsky et Rosenblatt se connaissaient depuis leurs années d’école à la Bronx High School of Science, et ils s’affrontaient bruyamment dans les conférences tout en restant en bons termes.

Ce que le livre voulait faire

Marvin Minsky et Seymour Papert, tous deux au MIT, ont publié Perceptrons: An Introduction to Computational Geometry (Perceptrons : une introduction à la géométrie computationnelle) en 1969 chez MIT Press. Ils l’ont dédié à Rosenblatt. Au lieu de construire des machines, ils ont posé une question de mathématicien : exactement quels motifs un perceptron peut-il reconnaître, et à quel coût?

Ils ont étudié une version précise et idéalisée : une « rétine » d’entrée, une seule couche de détecteurs de caractéristiques simples et une unité de sortie. Point crucial, ils ont supposé que chaque détecteur ne regarde qu’une petite parcelle de l’entrée, puisque l’attrait de ces réseaux tenait justement à la possibilité de combiner en parallèle de nombreux indices locaux. Au moins un chapitre a circulé tôt sous forme de note de service du MIT : la réimpression de 1968 du chapitre sur l’apprentissage compare le perceptron au simple stockage de chaque exemple et note que le perceptron ne fonctionne parfaitement que lorsque les exemples peuvent être séparés par une ligne droite ou son équivalent en dimension supérieure. Les mathématiciens disent de telles données qu’elles sont « linéairement séparables ».

L’exemple concret : le XOR et la parité

La façon la plus claire de voir la limite est la fonction appelée XOR, le « ou exclusif ». Elle répond oui quand exactement une des deux entrées est activée.

Placez ces quatre points sur un carré, les cas « oui » à deux coins opposés et les cas « non » aux deux autres. Un perceptron unique trace une seule ligne droite et répond oui d’un côté. Aucune ligne droite ne peut placer les deux coins oui d’un côté et les deux coins non de l’autre; aucun choix de poids ne fonctionne donc.

Le XOR est le cas à deux entrées de la parité : le nombre d’entrées actives est-il pair ou impair? Minsky et Papert ont prouvé qu’un perceptron du type limité qu’ils étudiaient ne peut pas calculer la parité à moins qu’au moins un détecteur regarde toute l’entrée. Ils ont aussi montré que décider si une figure est connexe, c’est-à-dire d’un seul tenant, exige des détecteurs dont la taille devient démesurée. La couverture du livre illustre le propos avec des figures enchevêtrées dont il est difficile pour une personne de juger d’un coup d’œil si elles sont connexes.

Le mythe du XOR

La version populaire dit que le livre a prouvé que les réseaux de neurones ne peuvent pas faire le XOR et que le domaine a donc été abandonné. C’est trompeur. On savait déjà bien, depuis les travaux de Warren McCulloch et Walter Pitts, que des réseaux de telles unités comportant plus d’une couche peuvent calculer n’importe quelle fonction logique, et le livre lui-même le dit. Ce que Minsky et Papert ont prouvé était plus subtil : pour certains motifs, même un réseau avec une couche cachée a besoin d’au moins une unité reliée à toutes les entrées, ce qui ruinait l’espoir de construire des réseaux puissants à partir de petites pièces locales.

Dans leur dernier chapitre, toutefois, les auteurs sont allés plus loin que leurs preuves. Ils ont suggéré qu’étendre les perceptrons à plusieurs couches serait probablement une voie « stérile », et bien des lecteurs ont pris cette supposition pour un verdict.

Ce qui a suivi

Les premières critiques ont été respectueuses, et certaines enthousiastes : Allen Newell, qui en a fait la recension pour Science, l’a qualifié de grand livre. Les chercheurs en réseaux de neurones ont objecté que les auteurs avaient étudié une machine beaucoup plus étroite que celle de Rosenblatt en lui donnant son nom. Reste qu’on attribue souvent au livre un long déclin de la recherche sur les réseaux de neurones pendant les années 1970 et le début des années 1980, une période où l’IA symbolique a prospéré et où le travail sur les réseaux de neurones ne s’est poursuivi que dans de petits groupes en marge du courant principal. Le livre est arrivé pendant un refroidissement plus général du soutien à l’IA, qui fait partie de ce qu’on appelle aujourd’hui le premier hiver de l’IA.

Le renouveau est venu au milieu des années 1980. Dans un rapport de 1986 sur les réseaux à couches cachées, David Rumelhart et ses collègues ont affirmé avoir surmonté ces problèmes et soutenu que le pessimisme de Minsky et Papert sur l’apprentissage dans les machines multicouches n’était pas fondé. Minsky et Papert ont répondu dans une édition augmentée en 1987 (certaines sources la datent de 1988), où ils défendaient leur analyse.

Pourquoi les réseaux de neurones fonctionnent-ils si bien en 2019 si Perceptrons a montré leurs limites?

Parce que les limites s’appliquaient à un type particulier de réseau : une couche de petits détecteurs locaux alimentant une seule sortie. Les réseaux profonds d’aujourd’hui empilent de nombreuses couches, chaque unité peut s’appuyer sur les résultats de la couche inférieure, et tous les poids sont entraînés ensemble, habituellement avec une méthode appelée rétropropagation. Un réseau doté d’une seule couche cachée règle facilement le XOR, comme le montre l’exercice des deux lignes ci-dessus.

La leçon profonde du livre tient toujours, cependant. Minsky et Papert insistaient pour qu’on se demande ce qu’une architecture donnée peut représenter ou non, et à quel coût. Les chercheurs de 2019 se posent encore ces questions, maintenant au sujet de réseaux comptant des millions de poids, et les réponses décident encore des conceptions qui valent la peine d’être construites.