Qu’est-ce que la lettre ouverte qui demande une pause des expériences géantes en IA?

La lettre s’intitule Pause Giant AI Experiments (Mettre en pause les expériences géantes en IA). La page de la lettre la date du 22 mars; elle a été publiée avec ses premières signatures à la fin mars et largement relayée le 29 mars. Sa demande centrale tient en une phrase : les laboratoires d’IA devraient suspendre immédiatement, pendant au moins six mois, l’entraînement de tout système d’IA plus puissant que GPT-4, le modèle qu’OpenAI a lancé le 14 mars.

La lettre compte moins pour ce qu’elle peut imposer, puisqu’elle n’a aucun pouvoir juridique, que pour le débat qu’elle a ouvert. Elle a placé devant le grand public une question habituellement débattue entre spécialistes : à quelle vitesse cette technologie devrait-elle avancer, et qui en décide?

Ce que demande la lettre

La lettre formule plusieurs demandes précises :

• Une pause des plus gros entraînements. Tout le monde devrait pouvoir vérifier qu’elle a lieu, et chaque grand laboratoire devrait y participer. Si les laboratoires ne s’entendent pas rapidement, la lettre affirme que les gouvernements devraient intervenir avec un moratoire, un arrêt imposé par la loi.
• Des protocoles de sécurité communs. Les laboratoires et des experts indépendants devraient profiter de la pause pour rédiger des règles de sécurité pour l’IA avancée, vérifiées par des auditeurs externes.
• Une nouvelle gouvernance. Elle demande aux décideurs publics des autorités de réglementation consacrées à l’IA, le suivi des systèmes très performants et des grandes réserves de puissance de calcul, le tatouage numérique pour aider à distinguer le contenu réel du contenu généré par l’IA, la responsabilité pour les torts causés par l’IA, et du financement public pour la recherche sur la sécurité.

La lettre prend soin de préciser qu’elle ne demande pas l’arrêt du développement de l’IA en général. Elle vise la course vers des modèles toujours plus gros dont même les concepteurs peinent à prévoir le comportement, souvent appelés « boîtes noires » parce qu’on ne peut pas voir pourquoi ils produisent une réponse donnée.

Qui a signé, et pourquoi?

The Verge a signalé parmi les premiers signataires Steve Wozniak, cofondateur d’Apple, Jaan Tallinn, cofondateur de Skype, l’auteur Yuval Noah Harari, le politicien Andrew Yang, Elon Musk, ainsi que des chercheurs et des dirigeants en IA comme Yoshua Bengio, Stuart Russell, Gary Marcus et Emad Mostaque. À la fin mars, plus de 2 000 personnes avaient signé. La liste a connu des problèmes : certains noms ont été ajoutés pour blaguer, dont celui du chef de la direction d’OpenAI, Sam Altman; on ne peut donc pas prendre chaque nom au pied de la lettre.

Les partisans reprennent l’argumentaire de la lettre. Ils soutiennent que les laboratoires sont engagés dans une course pour lancer des systèmes plus puissants plus vite que quiconque ne peut les comprendre ou les maîtriser. La lettre demande si nous devrions laisser des machines inonder nos sources d’information de propagande, automatiser des emplois gratifiants ou risquer de perdre le contrôle, et affirme que de tels choix ne devraient pas être laissés à des dirigeants de la technologie non élus. Elle souligne aussi qu’OpenAI elle-même a écrit qu’un examen indépendant avant l’entraînement de futurs systèmes pourrait devenir important. Les signataires affirment que ce moment est arrivé.

Ce que disent les critiques

Les critiques sont venues de plusieurs directions. L’une des réponses les plus détaillées est arrivée le 31 mars de Timnit Gebru, Emily M. Bender et Angelina McMillan-Major, autrices d’un article de recherche de 2021 sur les risques des grands modèles de langage, connu sous le nom de « Stochastic Parrots » (perroquets stochastiques), que la lettre elle-même cite.

Elles sont d’accord avec certaines propositions, comme le tatouage numérique des médias synthétiques. Mais elles soutiennent que la lettre se concentre sur les risques imaginés de puissants « esprits numériques » tout en ignorant les torts qui se produisent maintenant : l’exploitation des travailleurs qui étiquettent et filtrent les données, l’utilisation du travail des gens sans leur permission, la propagation des médias synthétiques et la concentration du pouvoir entre les mains de quelques entreprises. Au lieu d’une pause, elles réclament une réglementation qui exige la transparence : des étiquettes claires sur le contenu généré par l’IA, la divulgation des données d’entraînement et de la conception des modèles, et des entreprises tenues responsables de ce que produisent leurs produits. Elles veulent aussi que les personnes les plus touchées par l’IA aient leur mot à dire, pas seulement les dirigeants et les universitaires.

D’autres doutent que la pause ait lieu tout court. The Verge a jugé peu probable que la lettre change grand-chose dans un marché où les grandes entreprises technologiques se précipitent pour lancer des produits, tout en y voyant le signe d’une pression croissante en faveur d’une réglementation.

Voici un aperçu côte à côte des principales positions :

Faut-il ralentir le développement de l’IA?

Il n’y a pas de réponse définitive, et des personnes réfléchies ne s’entendent pas. Celles qui souhaitent ralentir soulignent la rapidité avec laquelle des systèmes comme GPT-4 sont arrivés et le peu de surveillance externe qui existe. Selon elles, une pause donne du temps à la recherche sur la sécurité et permet aux lois de rattraper leur retard.

Celles qui ne sont pas d’accord soulèvent d’autres préoccupations. Certaines pensent que le danger réside moins dans les modèles futurs que dans la façon dont les systèmes actuels sont déjà utilisés, et qu’une pause détournerait l’attention de cette question. D’autres doutent que des entreprises qui se font concurrence pour lancer des produits s’arrêteraient vraiment, ou qu’une lettre sans valeur contraignante puisse les y obliger.

Les deux camps ont des points communs. La lettre comme ses critiques de « Stochastic Parrots » réclament des moyens d’étiqueter le contenu généré par l’IA et de tenir les entreprises responsables des torts causés par leurs systèmes. Comme lecteur ou utilisateur, vous pouvez suivre le débat en posant des questions concrètes à chaque proposition : qu’est-ce qui s’arrêterait exactement, qui le vérifierait, et à quels torts cela répondrait-il?