Qu’est-ce qu’un réseau de Hopfield, et comment un réseau d’unités simples peut-il se souvenir?

Un réseau de Hopfield est une toile d’unités simples, allumées ou éteintes, toutes reliées les unes aux autres, qui stocke des souvenirs sous forme de configurations stables et peut reconstituer un souvenir entier à partir d’un indice abîmé ou partiel. Le physicien John Hopfield l’a décrit dans la revue PNAS en avril 1982, et son article a aidé à ramener les réseaux de neurones dans la recherche sérieuse.

Qu’est-ce qu’un réseau de Hopfield, et comment un réseau d’unités…

Pensez à la façon dont quelques notes d’une chanson peuvent ramener tout l’air, ou dont une photo floue d’un ami suffit encore à le reconnaître. Votre mémoire ne retrouve pas les choses par une adresse, comme le fait un classeur. Elle fonctionne par le contenu : un morceau de la chose fait surgir le reste. En 1982, le physicien John Hopfield a montré comment un réseau de neurones artificiels très simples pouvait faire quelque chose de semblable, et ce modèle porte aujourd’hui son nom.

Son article, « Neural networks and physical systems with emergent collective computational abilities », a paru dans PNAS, la revue de l’Académie nationale des sciences des États-Unis, volume 79, numéro 8, pages 2554 à 2558, en avril 1982. Il était court et mathématique, écrit par un physicien plutôt que par un informaticien, et il est paru à un moment où la recherche sur les réseaux de neurones comptait très peu d’adeptes.

Ce que Hopfield proposait

L’affirmation centrale de l’article tient dans son titre. Des capacités de calcul utiles, soutenait Hopfield, peuvent émerger comme propriétés collectives d’un système composé d’un très grand nombre de pièces simples et identiques. Aucune pièce ne sait rien à elle seule; le savoir réside dans la configuration des connexions entre elles. Il appelait ces pièces des neurones et notait que le modèle, vaguement inspiré du cerveau, pourrait aussi être construit sous forme de puce électronique.

La capacité sur laquelle il se concentrait s’appelle la mémoire adressable par le contenu, aussi appelée mémoire associative. On donne au réseau une partie d’une configuration stockée, et il rend la configuration entière. Le résumé mentionne aussi une certaine capacité à généraliser, à reconnaître une entrée familière, à classer des entrées par catégories et à corriger des erreurs, et il note que le comportement change à peine si certaines unités tombent en panne. Un ordinateur ordinaire, au contraire, peut être arrêté par un seul fil brisé.

Comment le réseau fonctionne

Chaque unité du réseau d’origine n’a que deux états, allumée ou éteinte (notés 1 et 0, ou +1 et -1 dans de nombreux manuels). Chaque unité est reliée à toutes les autres, et chaque connexion a une force, ou poids, qui peut être positive (elle incite les deux unités à s’accorder) ou négative (elle les pousse à diverger). Deux règles mettent de l’ordre : la connexion de l’unité A vers l’unité B a le même poids que celle de B vers A, et aucune unité n’est reliée à elle-même.

Le réseau fonctionne une unité à la fois, dans un ordre quelconque. Une unité additionne les signaux qui lui arrivent des autres, chacun multiplié par son poids. Si le total est supérieur à zéro, l’unité s’allume; sinon, elle s’éteint. Puis une autre unité prend son tour, et ainsi de suite, jusqu’à ce que plus rien ne change.

L’idée clé de Hopfield venait de la physique. Il a défini un seul nombre pour l’ensemble du réseau, qu’il appelait son énergie, et il a montré qu’avec des poids symétriques, chaque mise à jour fait baisser ce nombre ou le laisse inchangé. Le réseau finit donc toujours par s’immobiliser quelque part, comme une balle qui roule sur un terrain vallonné finit dans un creux. Si l’on façonne le terrain pour que chaque souvenir se trouve au fond de sa propre vallée, un indice qui part près d’un souvenir roule jusqu’à lui. Les mathématiques sont étroitement liées au modèle d’Ising, que les physiciens utilisent pour décrire de minuscules aimants qui ont tendance à s’aligner sur leurs voisins.

Pour creuser ces vallées, la méthode habituelle suit l’idée de Donald Hebb, en 1949, selon laquelle des cellules actives ensemble renforcent leur lien : pour chaque souvenir, on augmente le poids entre deux unités qui sont dans le même état et on le diminue entre des unités qui diffèrent.

Un exemple détaillé : stocker une configuration

Prenez quatre unités et stockez la configuration +1, -1, +1, -1. Avec la règle de Hebb, chaque poids est le produit des valeurs des deux unités dans la configuration. Donnez ensuite au réseau un indice abîmé, où l’unité 2 a été inversée par erreur : +1, +1, +1, -1.

Étape	Ce qui se passe	Résultat
1	Poids tirés de la configuration stockée : les unités 1 et 3 reçoivent +1 (elles s’accordent), l’unité 2 reçoit -1 avec chacune d’elles et +1 avec l’unité 4	Le souvenir est maintenant contenu dans les poids
2	Présenter l’indice +1, +1, +1, -1	L’unité 2 est fausse
3	L’unité 2 additionne ses entrées : (-1 × 1) + (-1 × 1) + (+1 × -1) = -3	Le total est inférieur à zéro
4	L’unité 2 passe à -1; les autres unités vérifient et restent telles quelles	+1, -1, +1, -1

L’erreur est corrigée, et le réseau a reconstitué la configuration stockée à partir d’une copie corrompue.

À essayer : dessinez une grille de 5 sur 5, noircissez une lettre simple comme un T, puis cachez trois cases et modifiez-en deux autres. Demandez à un ami de la « réparer ». La façon dont il revient d’instinct à la lettre familière la plus proche, c’est ce que fait un réseau de Hopfield avec de l’arithmétique.

Pourquoi il a compté

L’article est arrivé pendant une longue accalmie. À partir de la fin des années 1960, la plus grande partie du financement et de l’attention en IA est allée aux programmes symboliques construits à partir de règles écrites à la main, et peu de chercheurs travaillaient sur les réseaux de neurones. Hopfield a montré qu’on pouvait analyser ces réseaux avec les outils éprouvés de la physique, ce qui a donné au domaine une base mathématique solide et un regain d’intérêt. L’idée n’était pas entièrement nouvelle : W. A. Little avait décrit un réseau semblable en 1974, et la règle d’apprentissage de Hebb date de 1949. Ce que Hopfield a ajouté, c’est l’image de l’énergie, qui rendait le comportement prévisible.

Les travaux ont suivi rapidement. Un article de 1984 a étendu le modèle à des unités dont l’activité varie de façon continue, plus proches des vrais neurones. En 1985, Hopfield et David Tank ont utilisé ces réseaux pour chercher des itinéraires courts dans le problème du voyageur de commerce, l’énigme classique qui consiste à visiter de nombreuses villes par le chemin le plus court. La machine de Boltzmann, un autre modèle influent des années 1980, est essentiellement un réseau de Hopfield dont les unités s’allument et s’éteignent avec un peu de hasard.

Le réseau a aussi des limites claires. Il peut se stabiliser dans un faux souvenir, une vallée que personne n’avait l’intention de créer. Et il se remplit vite : avec la règle de Hebb simple, il ne retient de façon fiable qu’environ 138 configurations par 1 000 unités.

Quel est le lien entre les réseaux de Hopfield et les réseaux de neurones utilisés aujourd’hui?

Ils partagent le matériau de base : des unités simples, des connexions pondérées et des souvenirs stockés dans les poids plutôt qu’en un seul endroit. Les réseaux de Hopfield servent encore de modèle pour expliquer comment la mémoire humaine pourrait retrouver un tout à partir d’indices partiels.

L’architecture est toutefois différente. Un réseau de Hopfield est récurrent : les signaux tournent en boucle jusqu’à ce que tout le réseau se stabilise. La plupart des réseaux utilisés au début de 2020, comme les classificateurs d’images derrière la recherche de photos ou les modèles de langage BERT et GPT-2, sont organisés en couches qui transmettent l’information surtout dans une seule direction, et ils apprennent en ajustant graduellement des millions de poids par rétropropagation plutôt qu’en une seule étape hebbienne.

L’héritage le plus profond de Hopfield est une façon de penser : le comportement d’un réseau vu comme un paysage d’énergie, où l’apprentissage consiste à façonner des collines et des vallées. Quand des chercheurs disent qu’un modèle est coincé dans un minimum local, c’est cette image qu’ils utilisent.