Que sont les trois lois de la robotique d’Asimov, et d’où viennent-elles?

Les trois lois de la robotique sont sans doute les règles les plus célèbres jamais écrites pour des machines, et elles viennent d’une nouvelle. « Cercle vicieux », d’Isaac Asimov, a paru dans le magazine Astounding Science-Fiction, dans son numéro daté de mars 1942. Un ingénieur y récite les règles autour desquelles est construit le cerveau de chaque robot. Asimov a écrit la nouvelle en octobre 1941, et c’était la première fois que les trois règles paraissaient ensemble sous forme imprimée.

En termes simples, les lois disent :

1. Ne jamais blesser un être humain, et ne jamais laisser un être humain être blessé en restant sans rien faire.
2. Faire ce que les humains ordonnent, sauf si un ordre enfreint la première loi.
3. Se protéger de tout dommage, sauf si cela enfreint la première ou la deuxième loi.

L’ordre compte. Chaque loi cède le pas à celles qui la précèdent; les priorités d’un robot vont donc de la sécurité des humains à l’obéissance, puis à sa propre préservation.

D’où viennent les lois

Asimov écrivait des histoires de robots depuis 1940. Ses robots devaient éviter le genre de soulèvement montré dans la pièce R.U.R. (Rossum’s Universal Robots) de Karel Čapek, où des travailleurs artificiels exterminent leurs créateurs. Ce seraient plutôt des produits d’ingénierie, avec la sécurité intégrée dès la conception.

Selon The Encyclopedia of Science Fiction, Asimov attribuait à John W. Campbell Jr., le rédacteur en chef d’Astounding, le mérite d’avoir formulé les trois lois au cours d’une conversation en décembre 1940. Campbell, de son côté, estimait que les lois étaient déjà implicites dans les histoires de robots antérieures d’Asimov. La première loi, à elle seule, avait paru dans la nouvelle « Menteur! » d’Asimov, en mai 1941.

Un détail pour les amoureux des mots : dans la version de « Cercle vicieux » parue en magazine, l’ingénieur Gregory Powell les appelle « les trois Règles fondamentales de la robotique ». La formulation familière citée aujourd’hui, avec « lois » au lieu de « règles », est celle qu’on trouve dans les recueils où la nouvelle a été reprise, à commencer par I, Robot (Les Robots), en 1950.

Comment « Cercle vicieux » met les lois à l’épreuve

La nouvelle est une énigme, et les lois en sont la clé. Deux ingénieurs, Gregory Powell et Mike Donovan, tentent de remettre en marche une station minière abandonnée sur Mercure, la planète la plus proche du Soleil. Leur équipement a besoin de sélénium, un élément chimique, pour continuer à fonctionner, et sans lui ils ne survivront pas à la chaleur. Ils envoient leur robot Speedy en chercher dans une mare de sélénium voisine.

Speedy ne revient pas. Il tourne autour de la mare, encore et encore, et quand ils le rejoignent, il dit des absurdités comme s’il était ivre. Powell comprend pourquoi :

Près de la mare, le danger l’emporte sur l’ordre, et Speedy recule. Plus loin, l’ordre l’emporte sur le danger, et il se rapproche de nouveau. À une certaine distance, les deux forces s’équilibrent exactement, et il reste prisonnier de ce cercle. De nouveaux ordres n’y changent rien.

La solution de Powell est audacieuse. Il s’avance lui-même sous le soleil mortel. Un humain est maintenant en danger, et la première loi, plus forte que les deux autres, arrache Speedy à sa boucle pour qu’il le secoure.

Pourquoi c’était important

« Cercle vicieux » a fait passer les robots du statut de monstres à celui de machines soumises à des règles, et a fait des règles elles-mêmes une source de drame. Beaucoup des nouvelles ultérieures d’Asimov, réunies dans Les Robots, reposent sur le même genre de problème : les lois semblent claires, mais des mots comme « tort » et « humain » se révèlent glissants. Des décennies plus tard, il a ajouté une « loi zéro », qui place la protection de l’humanité dans son ensemble au-dessus des trois autres.

La nouvelle a aussi touché des gens qui allaient construire de vraies machines pensantes. Marvin Minsky, l’un des fondateurs de l’intelligence artificielle comme domaine, a raconté que la lecture de « Cercle vicieux » l’avait amené à se demander comment fonctionne l’esprit, une question qu’il a continué d’explorer pendant tout le reste de sa carrière.

Les trois lois de la robotique peuvent-elles rendre l’IA réelle sûre?

Pas telles qu’elles sont écrites, et les propres histoires d’Asimov montrent pourquoi. Les lois supposent qu’un robot comprenne des idées comme « tort », « humain » et « inaction », et qu’il les pèse de façon sensée dans des situations que personne n’a prévues. Speedy suit parfaitement les lois et manque pourtant de faire tuer son équipe, parce que les poids étaient mal réglés et que l’ordre était vague.

Les vrais systèmes d’IA de 2019 ne fonctionnent pas du tout à partir d’une courte liste de principes. Un filtre antipourriel, un assistant vocal ou une voiture autonome apprend des régularités à partir de données et poursuit des objectifs que ses concepteurs précisent dans le code. La partie difficile est la même que celle qu’Asimov a mise en scène : s’assurer que les objectifs qu’on donne à un système correspondent à ce qu’on veut vraiment dire, y compris dans des situations rares. Les chercheurs appellent cela le problème de l’alignement ou de la spécification, et c’est un domaine de recherche actif.

Les lois se lisent donc mieux comme un récit pédagogique que comme un manuel d’ingénierie. Elles nous rappellent que la sécurité doit être prévue dès le départ, que les priorités entre les objectifs doivent être explicites et que des règles en apparence claires peuvent échouer en pratique. Beaucoup d’organisations qui rédigent des principes d’éthique de l’IA en 2019 le découvrent précisément : énoncer de bonnes valeurs est l’étape facile, les traduire en comportements est la difficile.