Qu’était le perceptron de Frank Rosenblatt, et comment apprenait-il?

À la fin des années 1950, la plupart des chercheurs qui tentaient de construire des machines pensantes écrivaient des programmes qui suivaient des règles explicites. Frank Rosenblatt, chercheur au Cornell Aeronautical Laboratory de Buffalo, dans l’État de New York, a essayé autre chose. Il a conçu une machine faite de nombreuses unités simples, semblables à des neurones, dont les connexions changeaient avec l’expérience. Montrez-lui assez d’exemples, et elle apprenait d’elle-même à distinguer une forme d’une autre.

Il l’a appelée le perceptron. C’était l’un des premiers réseaux de neurones artificiels capables d’apprendre, et les idées qui le sous-tendent se trouvent dans presque tous les systèmes d’IA modernes qui reconnaissent des images ou la parole.

Quand et où cela s’est passé

Rosenblatt travaillait au Cornell Aeronautical Laboratory grâce à un financement de l’U.S. Office of Naval Research. La méthode d’apprentissage du perceptron est généralement datée de 1957, année où il l’a décrite et simulée pour la première fois. Son article le plus connu, The Perceptron: A Probabilistic Model for Information Storage and Organization in the Brain, a été reçu par la revue Psychological Review le 23 avril 1958 et a paru dans le volume 65 plus tard la même année.

Le premier perceptron n’était pas une machine physique. Il tournait sous forme de simulation sur un ordinateur IBM 704 du laboratoire. Rosenblatt a ensuite fait construire du matériel sur mesure, le Mark I Perceptron, conçu pour la reconnaissance d’images.

En 1958, la marine américaine a tenu une conférence de presse sur le projet. Les affirmations de Rosenblatt, et la couverture médiatique qui a suivi, ont soulevé la controverse. Le New York Times a rapporté que la Marine s’attendait à ce que l’appareil devienne un ordinateur capable de « marcher, parler, voir, écrire, se reproduire et être conscient de son existence ». Bien des chercheurs ont trouvé que c’était beaucoup trop promettre.

La question que se posait Rosenblatt

L’article de 1958 ne commence pas par les ordinateurs, mais par le cerveau. Rosenblatt posait trois questions : comment un système vivant perçoit le monde physique, sous quelle forme il stocke l’information, et comment l’information stockée influence ce qu’il reconnaît et ce qu’il fait. La première avait de bonnes réponses en physiologie. Les deux autres, non.

Il se rangeait du côté de la vision « connexionniste », l’idée que les souvenirs ne sont pas stockés sous forme de petites images quelque part dans le cerveau, mais dans le motif et la force des connexions entre les neurones. Le perceptron était sa tentative de montrer, par les mathématiques et la simulation, qu’un tel système pouvait réellement apprendre.

Comment fonctionnait le perceptron

La conception de Rosenblatt comptait trois couches d’unités :

Les unités sensorielles (points S) : une « rétine » de détecteurs de lumière. Dans le Mark I, une caméra alimentait une grille de 20 sur 20, soit 400 cellules photoélectriques.
Les unités d’association (unités A) : chacune reliée, plus ou moins au hasard, à une poignée de points sensoriels. Une unité A s’active quand le signal total qu’elle reçoit dépasse un seuil.
Les unités de réponse (unités R) : les sorties, comme « ceci est un carré » ou « ceci est un cercle ».

L’apprentissage se faisait dans les connexions qui menaient aux réponses. Quand la machine était récompensée pour une bonne réponse, ou corrigée pour une mauvaise, la force des connexions actives était ajustée. Dans le Mark I, ces forces étaient réglées par des potentiomètres, le même genre de cadran que les boutons de volume, tournés par de petits moteurs électriques.

Voici l’idée de correction des erreurs dans sa forme la plus simple, celle des manuels. Supposons qu’une seule unité doive décider si une image de deux pixels est « claire » (sortie 1) ou « sombre » (sortie 0). Elle additionne ses entrées multipliées par leurs poids et répond 1 si le total est d’au moins 1 :

Tour	Entrées (pixel A, pixel B)	Poids avant	Total	Réponse	Correct?	Ajustement
1	(1, 1)	0,2; 0,2	0,4	0	Non, devrait être 1	Augmenter les deux poids de 0,4
2	(1, 1)	0,6; 0,6	1,2	1	Oui	Aucun
3	(0, 0)	0,6; 0,6	0	0	Oui	Aucun

Personne ne dit à l’unité quels sont les bons poids. Elle les trouve en se faisant corriger quand elle donne une mauvaise réponse.

À essayer : refaites le tableau avec une nouvelle règle : l’unité doit répondre 1 seulement quand le pixel A est allumé, peu importe le pixel B. Fixez les deux poids à 0,5 au départ, testez les entrées (1, 0) et (0, 1), et ajustez après chaque erreur. Combien de corrections faut-il?

Pourquoi il a compté

L’article de Rosenblatt arrivait à plusieurs conclusions qui sonnent encore modernes. Un réseau d’unités reliées au hasard pouvait apprendre à associer des réponses particulières à des stimuli particuliers. Il pouvait généraliser, en classant correctement de nouveaux exemples qui ressemblaient à ceux qu’il avait appris. Et sa mémoire était répartie entre de nombreuses connexions : endommager une partie du réseau entraînait une perte graduelle de compétence plutôt que la perte d’un fait isolé. Il reconnaissait aussi une limite : reconnaître des relations dans l’espace et dans le temps semblait dépasser ce qu’il pouvait abstraire.

L’enthousiasme n’a pas duré. En 1969, Marvin Minsky et Seymour Papert ont publié Perceptrons, un livre qui montrait qu’une seule couche de ces unités ne peut apprendre que des formes séparables par une ligne droite. Elle ne peut même pas apprendre le OU exclusif (XOR), la règle « une entrée ou l’autre, mais pas les deux ». Le financement et l’intérêt pour les réseaux de neurones ont chuté et ne se sont rétablis que dans les années 1980, quand des chercheurs ont montré que les réseaux à plusieurs couches sont beaucoup plus performants.

Quel lien y a-t-il entre le perceptron et l’apprentissage profond d’aujourd’hui?

Un réseau profond moderne est, au sens propre, une très grande pile d’unités semblables au perceptron. Chaque unité multiplie encore ses entrées par des poids, les additionne et fait passer le résultat par une fonction simple. Entraîner veut encore dire ajuster ces poids pour réduire les erreurs sur des exemples. Les grandes différences sont la profondeur, avec de nombreuses couches au lieu d’une seule couche entraînable, et une méthode d’entraînement appelée rétropropagation, qui peut faire remonter les corrections à travers toutes ces couches.

L’échelle a tout changé. Le Mark I avait 400 entrées, et ses poids étaient des boutons tournés par des moteurs. Les réseaux de reconnaissance d’images d’aujourd’hui ont des millions de poids ajustables et s’entraînent sur des millions de photos étiquetées à l’aide de puces graphiques rapides. Le modèle de langage GPT-2, qu’OpenAI a présenté plus tôt ce mois-ci, en compte 1,5 milliard.

La filiation entre Rosenblatt et ces systèmes est directe. La question qu’il posait en 1958, à savoir si une machine pouvait apprendre de l’expérience en modifiant ses connexions, est celle à laquelle l’apprentissage profond a répondu par un oui bien plus retentissant.