# Qu’était SNARC, la machine de 1951 souvent présentée comme le premier réseau de neurones?

Date: 2020-01-11 · Author: Robert Scales · https://guidetoartificialintelligence.com/fr/apprendre/snarc-premiere-machine-reseau-de-neurones/

**Answer:** SNARC, le Stochastic Neural Analog Reinforcement Calculator, était une machine qui apprenait, construite à l’été 1951 à Harvard par deux étudiants des cycles supérieurs de Princeton, Marvin Minsky et Dean Edmonds. Une quarantaine de « neurones » artificiels faits de tubes à vide, de moteurs et d’embrayages apprenaient, grâce à des récompenses, à guider un rat simulé dans un labyrinthe, ce qui en fait l’une des premières machines électroniques à apprendre de l’expérience.

À l’été 1951, deux jeunes étudiants des cycles supérieurs ont passé leurs vacances dans un laboratoire de Harvard à souder une machine de la taille d’un piano à queue. Elle comptait des centaines de tubes à vide, un enchevêtrement de fils et une rangée de boutons qui tournaient tout seuls. Sa tâche : apprendre à traverser un labyrinthe. Son nom : SNARC, abréviation de Stochastic Neural Analog Reinforcement Calculator (calculateur analogique neuronal stochastique à renforcement).

Ses constructeurs étaient Marvin Minsky et Dean Edmonds. On décrit souvent SNARC comme le premier réseau de neurones artificiel construit sous forme de machine physique : un ensemble d’unités simples et interconnectées, vaguement inspirées des cellules du cerveau, dont les connexions changeaient avec l’expérience. Minsky, mort en 2016, est devenu l’un des fondateurs du domaine de l’intelligence artificielle, et cette machine a été sa première tentative sérieuse de construire quelque chose qui puisse apprendre.

## Qui l’a construite, et comment elle est née

Minsky a étudié les mathématiques au premier cycle à Harvard à la fin des années 1940, puis il est passé à Princeton pour ses études supérieures en 1950. Étudiant, il avait été captivé par un article de 1943 du neurophysiologiste Warren McCulloch et du mathématicien Walter Pitts, qui décrivait les cellules du cerveau comme de simples unités de commutation capables, une fois reliées, d’effectuer des opérations logiques. Minsky voulait construire un tel réseau pour de vrai, et le faire apprendre.

À Princeton, il a rencontré Dean Edmonds, un étudiant des cycles supérieurs en physique doué pour l’électronique. Minsky a décrit le projet à George Miller, un psychologue de Harvard, qui l’a encouragé à le tenter. Miller a trouvé quelques milliers de dollars de financement auprès de l’Office of Naval Research des États-Unis. Cet été-là, en 1951, Minsky et Edmonds se sont installés dans un laboratoire de Harvard pour construire la machine.

## Ce que veut dire le nom

Chaque mot du nom décrit une partie de la conception :

| Mot | Sens | Dans SNARC |
|---|---|---|
| Stochastic (stochastique) | Qui fait intervenir le hasard | Chaque connexion ne transmettait un signal qu’avec une certaine probabilité |
| Neural (neuronal) | Semblable aux cellules nerveuses | Une quarantaine d’unités agissaient comme de simples neurones artificiels |
| Analog (analogique) | Qui utilise des grandeurs physiques variant de façon continue | Les probabilités étaient stockées dans la position de boutons, et non sous forme de nombres numériques |
| Reinforcement (renforcement) | Renforcement par la récompense | Un comportement récompensé avait plus de chances de se reproduire |
| Calculator (calculateur) | Un appareil de calcul | C’était une machine spécialisée, pas un ordinateur programmable |

## Comment elle fonctionnait

Le plan de Minsky prévoyait une quarantaine de neurones, chacun construit à partir de six tubes à vide et d’un moteur. La machine terminée comptait environ trois cents tubes, de nombreux moteurs et une série d’embrayages électriques que les deux étudiants avaient usinés eux-mêmes.

Chaque connexion du réseau avait un bouton de réglage, techniquement un potentiomètre, comme le bouton de volume d’une radio. La position du bouton fixait la probabilité qu’un signal arrivant à cette connexion soit transmis. C’était la mémoire à long terme de la machine. Chaque connexion avait aussi un condensateur, un composant qui garde une charge électrique pendant un court moment. Si la connexion venait de transmettre un signal, le condensateur s’en « souvenait » pendant quelques secondes. C’était la mémoire à court terme.

L’apprentissage se faisait ainsi. Quand la machine faisait quelque chose de bien, l’opérateur appuyait sur un bouton de récompense, ou un signal automatique le faisait. Un moteur faisait alors tourner une longue chaîne reliée aux quarante boutons. Partout où un condensateur indiquait que sa connexion venait de servir, un embrayage s’enclenchait et la chaîne tournait un peu ce bouton, ce qui rendait la connexion plus susceptible de s’activer la fois suivante. Les connexions qui n’avaient pas servi restaient telles quelles. Le moteur qui entraînait la chaîne était un pilote automatique de surplus provenant d’un bombardier B-24.

C’est essentiellement l’idée que Donald Hebb avait publiée deux ans plus tôt : les connexions qui participent à une activité réussie se renforcent.

## Le rat dans le labyrinthe

SNARC ne déplaçait pas de robot physique. Une configuration de lumières montrait plutôt la position d’un « rat » imaginaire qui se déplaçait dans un labyrinthe à l’intérieur du réseau. Au début, le rat errait au hasard. Chaque fois qu’il se rapprochait du but, la récompense renforçait les connexions responsables, et au fil de nombreux essais, il prenait moins de mauvais virages.

Puis est venue une surprise. À cause d’un accident de câblage, les constructeurs ont découvert qu’ils pouvaient faire courir deux ou trois rats en même temps dans le labyrinthe, et que les rats semblaient s’influencer les uns les autres : quand l’un trouvait un bon chemin, les autres avaient tendance à le suivre. Minsky a raconté dans un portrait publié par le *New Yorker* en 1981 : « Nous avons en quelque sorte délaissé la science pendant un moment pour regarder la machine. »

Le câblage aléatoire avait un autre avantage. Avec des centaines de tubes et des milliers de soudures, il y avait habituellement quelque chose de brisé, mais la perte d’un neurone changeait peu de chose à l’ensemble. Cette tolérance aux dommages est une propriété que partagent les cerveaux.

> **À essayer :** dessinez sur papier un labyrinthe simple comportant quatre embranchements. À chaque embranchement, donnez 5 « points » au virage à gauche et 5 au virage à droite. Faites traverser le labyrinthe dix fois à un rat qui tire à pile ou face, en ajoutant un point à chaque virage emprunté lors des essais qui atteignent la sortie. Pondérez ensuite chaque tirage selon les points. Le rat s’améliore-t-il?

## Pourquoi elle a compté

SNARC a été l’une des premières machines électroniques à apprendre de l’expérience, et peut-être la toute première. Elle a montré que les idées abstraites de McCulloch, de Pitts et de Hebb pouvaient se traduire en matériel fonctionnel.

Minsky lui-même en a tiré une leçon lucide. La machine pouvait apprendre une habitude, disait-il, mais jamais élaborer un plan, parce qu’elle n’avait aucun moyen de prédire ce qui allait se passer ensuite. Pour sa thèse de doctorat, il a exploré des réseaux dotés d’une deuxième sorte de mémoire pour ajouter la prédiction et, avec le temps, il a conclu que des réseaux semblables au cerveau exigeraient beaucoup plus de neurones que quiconque pouvait se le permettre. Il s’est tourné vers les approches symboliques de l’IA, qui travaillent avec des concepts et des règles explicites. La machine elle-même n’a pas survécu : Minsky l’a prêtée à des étudiants de Dartmouth, et elle a été perdue, à l’exception d’un seul neurone.

## En quoi SNARC diffère-t-il des réseaux de neurones que nous utilisons aujourd’hui?

L’idée centrale est la même : un réseau d’unités simples dont la force des connexions change avec l’expérience, de sorte que le savoir réside dans les connexions plutôt que dans des règles écrites. L’apprentissage par récompense de SNARC est aussi un ancêtre direct de l’apprentissage par renforcement, l’approche derrière les récents systèmes de jeu.

Les différences tiennent surtout à l’échelle et à la méthode. SNARC avait une quarantaine de connexions réglables; les réseaux d’images et de langage dont on parle dans l’actualité au début de 2020 en ont des millions ou des milliards, simulées par logiciel sur des puces rapides plutôt que construites avec des tubes et des moteurs. SNARC ne renforçait, après une récompense, que les connexions utilisées récemment. La plupart des réseaux modernes mesurent plutôt à quel point chaque sortie est erronée et ajustent chaque connexion d’une quantité précise pour réduire cette erreur.

Ce qui n’a pas changé, c’est la question que Minsky soulevait en 1951 : apprendre des habitudes suffit-il, ou l’intelligence exige-t-elle aussi la capacité de planifier et de prédire? Les chercheurs en débattent encore.

## Sources

- 1951 - SNARC Maze Solver - Minsky / Edmonds (American): https://cyberneticzoo.com/?p=1053
- Learning Machine, 1951: https://digitaleditions.walsworth.com/article/Learning+Machine%2C+1951/3370943/584879/article.html
- Stochastic Neural Analog Reinforcement Calculator: https://en.wikipedia.org/wiki/Stochastic_Neural_Analog_Reinforcement_Calculator