Qu’était le neurone de McCulloch et Pitts, le premier modèle de réseau de neurones?

Tous les réseaux de neurones utilisés aujourd’hui, de l’outil qui étiquette les photos sur votre téléphone aux grands modèles de langage, descendent d’un article de 1943 au titre intimidant : « A Logical Calculus of the Ideas Immanent in Nervous Activity ». Ses auteurs, Warren McCulloch et Walter Pitts, ont pris une cellule nerveuse vivante, l’ont réduite à son comportement le plus simple et l’ont traitée comme un minuscule interrupteur logique. Ils ont ensuite montré que des réseaux de tels interrupteurs pouvaient, en principe, calculer tout ce qui peut s’écrire sous forme de logique.

Leur neurone modèle reçoit des signaux d’autres neurones. Si assez de signaux arrivent en même temps pour dépasser un seuil fixe, il s’active; sinon, il reste silencieux. C’est toute l’idée, et elle s’est révélée suffisante pour lancer un domaine.

Qui l’a écrit, et où

Les deux auteurs formaient un duo improbable. Warren McCulloch était neurophysiologiste au département de psychiatrie du College of Medicine de l’Université de l’Illinois, rattaché à l’Illinois Neuropsychiatric Institute, à Chicago. Walter Pitts était un jeune logicien de l’Université de Chicago, où il avait étudié avec le philosophe Rudolf Carnap. McCulloch apportait les questions sur le cerveau; Pitts apportait les outils de la logique mathématique.

L’article a paru en 1943 dans le Bulletin of Mathematical Biophysics, volume 5, pages 115 à 133. Il est dense et rempli de logique symbolique. Cet automne-là, Pitts est parti au Massachusetts Institute of Technology pour travailler avec le mathématicien Norbert Wiener, ce qui a mis le modèle sous les yeux du petit groupe d’ingénieurs et de scientifiques qui s’apprêtaient à fonder la cybernétique.

Comment fonctionne le neurone modèle

McCulloch et Pitts sont partis de ce qu’on savait des vrais neurones. Une cellule nerveuse envoie une impulsion ou n’en envoie pas; elle ne s’active jamais à moitié. Ce comportement « tout ou rien » laissait penser que l’activité d’un neurone pouvait être traitée comme un énoncé logique, qui est soit vrai, soit faux.

Ils ont posé cinq hypothèses simplificatrices :

1. L’activité d’un neurone est tout ou rien.
2. Un nombre fixe de connexions d’entrée (synapses) doivent être excitées au même moment pour qu’un neurone s’active.
3. Le seul délai qui compte est la brève pause à chaque synapse.
4. Si une entrée inhibitrice est active, le neurone ne peut pas s’activer du tout.
5. Le câblage du réseau ne change jamais.

Avec ces règles, un neurone devient une petite porte logique. Voici un exemple concret avec deux entrées, A et B, chacune activée (1) ou désactivée (0) :

Changez seulement le seuil, et la même unité passe de « A et B » à « A ou B ». Ajoutez une entrée inhibitrice, et vous pouvez construire « A mais pas B ». Comme ET, OU et NON suffisent à construire n’importe quelle expression logique, un réseau assez grand de ces unités peut calculer n’importe quelle expression de ce genre.

La mémoire, les boucles et le cerveau

La seconde moitié de l’article porte sur les réseaux qui contiennent des boucles, que les auteurs appelaient des « cercles », où l’activité peut circuler et revenir. Une boucle peut maintenir un signal en vie après la disparition de l’entrée d’origine; le réseau garde ainsi une trace du passé. C’est une forme simple de mémoire. Les auteurs se sont aussi servis de leurs réseaux pour expliquer une sensation curieuse : si un objet froid touche votre peau très brièvement, vous pouvez sentir de la chaleur, alors qu’un contact plus long ne donne qu’une sensation de froid.

Ils ont conclu par un lien frappant avec les travaux d’Alan Turing de 1936. Un réseau de leurs neurones, doté d’un ruban et du moyen d’y lire et d’y écrire, pourrait calculer exactement les mêmes nombres qu’une machine de Turing. Autrement dit, un cerveau construit à partir de tels neurones idéalisés serait, en principe, un ordinateur universel.

Pourquoi c’était important

L’article de McCulloch et Pitts a donné un langage commun à deux jeunes domaines. Aux spécialistes du cerveau, il laissait entendre que la pensée pouvait être étudiée comme un traitement de l’information. Aux ingénieurs et aux mathématiciens, il laissait entendre que des machines faites de simples unités de commutation pouvaient imiter l’activité mentale. Wiener se souvenait d’avoir montré à Pitts les tubes à vide utilisés dans le nouvel équipement électronique et de lui avoir fait remarquer qu’ils étaient des pièces idéales pour construire ses circuits de neurones en métal. Le livre de Wiener paru en 1948, Cybernetics, traite longuement de leurs travaux.

Sa plus grande lacune était l’apprentissage. Dans le modèle de 1943, les connexions sont fixes; rien ne s’ajuste avec l’expérience. D’autres ont comblé cette lacune. Donald Hebb a proposé que les connexions entre neurones qui s’activent ensemble se renforcent, et Frank Rosenblatt a ensuite construit le perceptron, un réseau d’unités à seuil dont la force des connexions, ou poids, change pendant l’entraînement.

Quel lien y a-t-il entre le neurone de McCulloch et Pitts et l’apprentissage profond d’aujourd’hui?

Un neurone artificiel moderne en est un descendant direct. Il additionne toujours ses entrées et fait passer le résultat par une fonction qui décide de l’intensité de sa réponse. Les principaux changements : chaque entrée a maintenant son propre poids réglable, le seuil tout-ou-rien tranché est généralement remplacé par une courbe plus douce, et les poids sont appris à partir de données au lieu d’être fixés à la main.

L’apprentissage profond, l’approche derrière les principaux systèmes de reconnaissance d’images, de reconnaissance de la parole et de langage de 2019, dont GPT-2 d’OpenAI, empile des millions de ces unités en de nombreuses couches et règle leurs poids à l’aide d’énormes quantités de données. Cette échelle aurait été impensable en 1943, mais la brique de base est reconnaissable : une unité simple qui pèse des indices par rapport à un seuil.

Il vaut aussi la peine de se rappeler tout ce que McCulloch et Pitts ont laissé de côté. Les vrais neurones sont bien plus complexes que leur modèle, et les réseaux artificiels d’aujourd’hui ne sont pas des copies fidèles du cerveau. L’apport durable de 1943 n’est pas l’exactitude biologique, mais une idée puissante : un comportement qui ressemble à de l’intelligence peut naître de nombreuses pièces simples reliées entre elles.