Pourquoi Erewhon, de Samuel Butler, interdit-il les machines?

Erewhon est un roman satirique sur un pays caché où bon nombre de nos habitudes sont mises à l’envers. Son nom est l’anagramme de « nowhere » (nulle part), et Butler demandait aux lecteurs de le prononcer en trois courtes syllabes : Ĕ-rĕ-whŏn. Le livre a paru à Londres, de façon anonyme, dans les derniers jours de mars 1872.

Parmi ses nombreux renversements, l’un a survécu à tous les autres. Les Erewhoniens n’ont presque pas de machines, et ils traitent une montre de poche comme une dangereuse marchandise de contrebande. Des siècles plus tôt, un savant les avait persuadés que les machines étaient en route vers la conscience et finiraient par gouverner l’humanité; ils les ont donc détruites. Butler expose longuement les arguments de ce savant dans trois chapitres, « Le Livre des machines ».

Comment le livre est né

Les chapitres sur les machines ont commencé en Nouvelle-Zélande. Butler, qui y élevait des moutons au début des années 1860, a publié une lettre intitulée « Darwin among the Machines » (Darwin parmi les machines) dans le Press de Christchurch le 13 juin 1863. Une deuxième lettre sur les machines a suivi. De retour en Angleterre, il a remanié la première en 1865 pour un journal londonien, le Reasoner, sous le titre « The Mechanical Creation » (La création mécanique), puis l’a de nouveau étoffée pour le roman. Les premiers chapitres d’Erewhon, qui racontent la traversée d’une chaîne de montagnes, s’inspirent de l’arrière-pays de Canterbury qu’il connaissait.

Selon le récit de Butler lui-même, un ami lui a suggéré en 1870 de réunir ses articles épars en un livre, et il l’a écrit surtout le dimanche. Un éditeur l’a refusé en mai 1871, le jugeant trop philosophique pour plaire au grand public. Un autre, Trübner, l’a accepté au début de 1872. Aidée par deux critiques favorables en avril, la première édition s’est écoulée en trois semaines environ.

L’histoire autour des machines

Le narrateur, un jeune homme nommé Higgs, traverse des montagnes inexplorées et découvre Erewhon. Il est arrêté, et un magistrat est horrifié par sa montre. On le conduit au musée de la ville, où des vitrines contiennent des fragments de machines brisées : des morceaux de machines à vapeur, un cylindre et un piston, une voiture conçue pour des rails de fer. Une vitrine de vieilles horloges et de vieilles montres fait comprendre la situation. Le magistrat compare la montre du narrateur avec celles-ci, et le narrateur, par signes, propose qu’on l’enferme avec les autres.

Il apprend que les Erewhoniens avaient autrefois été bien en avance sur l’Europe en mécanique. Puis un professeur a écrit un livre soutenant que les machines étaient destinées à remplacer les humains. Le livre a conquis le pays. Après des années de débats, les Erewhoniens ont accepté de détruire toutes les inventions de moins de 271 ans. Ce chiffre était un compromis; l’auteur du livre en demandait trois cents, et une longue dispute a porté sur la question d’épargner ou non une calandre (une presse à linge) utilisée par les blanchisseuses. Elle ne l’a pas été. Une guerre civile a suivi entre « machinistes » et « antimachinistes », et les antimachinistes l’ont emporté.

Les arguments du « Livre des machines »

L’auteur fictif bâtit sa démonstration par étapes. En voici l’essentiel, à côté de la seule réplique que le roman rapporte.

L’argument contre les machines	La réplique
La conscience est déjà née d’une planète sans vie; de nouvelles formes d’esprit pourraient donc encore naître	Les machines ne sont pas une nouvelle espèce, mais des prolongements du corps humain
Les machines ont plus progressé en quelques siècles que les animaux en des ères entières	Une bêche n’est qu’un bras plus long; une machine est un « membre supplémentaire »
Personne ne peut tracer une ligne nette là où commence la conscience; même une plante agit comme si elle connaissait son intérêt	Les humains sont un « mammifère machiné » dont les membres sont éparpillés de par le monde
Les machines se reproduisent déjà par l’entremise des gens, comme le trèfle rouge se reproduit par l’entremise du bourdon	Le statut dépend du nombre de ces membres qu’une personne peut commander

L’argument du trèfle est le plus astucieux. Personne ne nie que le trèfle a un système reproducteur simplement parce qu’il a besoin des bourdons pour transporter son pollen. De la même façon, demande l’auteur, pourquoi nier que les machines se reproduisent, alors que les gens construisent pour elles de nouvelles machines? Dans ce tableau, les humains font partie du système reproducteur des machines.

À essayer : relisez les deux colonnes et choisissez un outil d’IA que vous avez utilisé en 2019, comme un assistant vocal ou une application de photos. Écrivez deux phrases qui le décrivent comme un « membre supplémentaire » et deux qui le décrivent comme une nouvelle sorte de créature. Quelle description vous semble la plus juste, et pourquoi?

Pourquoi c’est important

Erewhon a fait la réputation de Butler, et ses chapitres sur les machines n’ont jamais cessé d’être imprimés et débattus depuis. Dans la préface de la deuxième édition, Butler a protesté qu’il n’avait pas voulu se moquer de Darwin et a laissé entendre que sa véritable cible était le mauvais usage de l’analogie. Il a plus tard confié à Darwin que le livre auquel il pensait était The Analogy of Religion (L’analogie de la religion) de Joseph Butler. Les chapitres peuvent se lire comme une blague sur les raisonnements qui vont trop loin, comme une expérience de pensée sérieuse, ou comme les deux.

Le reste du roman est tout aussi mordant. À Erewhon, la maladie est punie comme un crime, tandis que la fraude et le vol sont traités avec compassion, comme des maladies morales. Les chapitres sur les machines suivent le même schéma : Butler prend une idée respectable de son époque, la théorie de Darwin, et la suit jusqu’à un endroit qui met les lecteurs mal à l’aise.

Comment « Le Livre des machines » se compare-t-il aux débats actuels sur l’IA?

Les deux camps d’Erewhon correspondent de près à deux points de vue qu’on entend en 2019. Le premier traite l’IA comme un outil, un prolongement de l’habileté humaine comme la bêche de Butler, qui ne fait que ce que les gens lui ordonnent. Le second craint que des systèmes de plus en plus capables développent des objectifs ou des capacités que leurs créateurs ne contrôlent pas. Les chercheurs qui travaillent sur ce qu’ils appellent la sûreté de l’IA prennent la seconde crainte au sérieux, tandis que bien des ingénieurs penchent pour la première.

Le choix des Erewhoniens, arrêter une technologie et revenir en arrière, a aussi des échos modernes à plus petite échelle. En février 2019, OpenAI a annoncé son modèle de langage GPT-2, mais n’en a d’abord publié qu’une version plus petite, en disant vouloir prendre le temps d’étudier les usages malveillants possibles. On est bien loin de la destruction de toutes les machines de moins de 271 ans, mais la question est celle que Butler soulevait : quand une société devrait-elle ralentir une invention qu’elle ne comprend pas encore?

La réponse de Butler lui-même est difficile à cerner. Les Erewhoniens gagnent leur guerre contre les machines et la paient d’un pays ruiné et arriéré. Le roman vous invite à prendre la peur au sérieux, et aussi à rire du remède.