Pourquoi OpenAI a-t-elle publié un plus gros modèle GPT-2, et que peut-il faire?

Hier, le 20 août 2019, OpenAI a mis à la disposition de tous, en téléchargement, une version plus grande de son modèle de langage GPT-2. Le nouveau modèle compte 774 millions de paramètres, soit à peu près la moitié du système à 1,5 milliard de paramètres que le laboratoire a décrit en février et qu’il garde privé depuis.

La publication s’accompagne d’une sorte de bulletin. Dans un billet intitulé « GPT-2 : 6-Month Follow-Up » (GPT-2 : suivi après six mois), OpenAI explique ce qu’elle a appris depuis février, nomme quatre universités partenaires qui étudient le modèle et diffuse une entente juridique que d’autres laboratoires peuvent reprendre quand ils veulent s’échanger des modèles. Le modèle complet reste en suspens.

Ce qu’OpenAI a publié, étape par étape

Un modèle de langage est un programme entraîné à prédire le mot suivant dans un texte. GPT-2 l’a appris à partir de millions de pages Web, et bien réussir cette tâche lui a appris à écrire des paragraphes qui restent dans le sujet. Sa taille se mesure en paramètres, les nombres ajustables du réseau que l’entraînement règle. Plus de paramètres donnent généralement un texte plus fluide et plus cohérent.

En février, OpenAI a choisi de publier GPT-2 par étapes plutôt que d’un seul coup, craignant que la plus grande version serve à produire en masse de fausses nouvelles ou des pourriels. Voici où en est ce plan aujourd’hui :

Si les deux premiers chiffres ne vous disent rien, il y a une raison. Le dépôt de code d’OpenAI indique maintenant que ses décomptes antérieurs étaient faux : le petit modèle qu’elle appelait 117M compte en réalité 124 millions de paramètres, et le moyen, appelé 345M, en compte 355 millions.

En plus des poids, OpenAI a ajouté au dépôt une model card (fiche technique du modèle), une courte fiche qui décrit à quoi servent les modèles et où ils montrent leurs limites. Elle indique que les principaux utilisateurs visés sont les chercheurs et les praticiens en IA, et énumère des usages secondaires probables : l’aide à l’écriture, comme la grammaire et la saisie semi-automatique, l’écriture créative, ainsi que les jeux ou les robots conversationnels. Elle précise aussi clairement que GPT-2 ne sait pas distinguer les faits de la fiction; OpenAI n’appuie donc pas les usages qui exigent que le texte soit vrai.

Ce qu’ont révélé six mois d’étude

Le billet d’OpenAI résume trois leçons.

La coordination entre laboratoires est difficile, mais possible. Personne n’a publié un modèle de la taille du GPT-2 complet, même si plusieurs groupes pourraient en entraîner un. OpenAI dit avoir discuté avec plus de cinq équipes qui ont reconstruit GPT-2, et indique que Hugging Face ainsi qu’un groupe de l’Allen Institute for Artificial Intelligence et de l’Université de Washington ont adopté leurs propres publications progressives.

Les gens peuvent être bernés par des textes écrits par une machine. Les chercheurs Sarah Kreps et Miles McCain, de Cornell, écrivant dans Foreign Affairs, ont constaté que 72 % d’un groupe de lecteurs jugeaient crédibles des articles produits par GPT-2. De vrais articles du New York Times obtenaient 83 %.

Repérer un texte généré est difficile. Les détecteurs automatiques, qui tentent de distinguer le texte de machine du texte humain, atteignent une exactitude située dans le bas ou le milieu de la fourchette des 90 %, selon OpenAI. Cela semble élevé, mais un outil utilisé sur tout un site Web devrait avoir raison au moins 99,9 % du temps, sinon il signalerait à tort un très grand nombre de personnes réelles. L’ajustement fin du modèle, c’est-à-dire un entraînement supplémentaire sur un type de texte plus restreint, rend la détection encore plus difficile. OpenAI soutient que les statistiques seules ne suffiront pas et qu’il faudra aussi du jugement humain et de l’information sur la provenance d’un texte.

Qui étudie le modèle

OpenAI a conclu quatre partenariats de recherche. Chaque partenaire peut étudier à la fois le nouveau modèle 774M et le modèle complet non publié :

• L’Université Cornell mesure à quel point les gens se laissent prendre par la désinformation produite par ces systèmes.
• Le Middlebury Institute of International Studies, par son Center on Terrorism, Extremism, and Counterterrorism, examine comment des extrémistes pourraient détourner GPT-2.
• L’Université de l’Oregon conçoit des « sondes de biais », des tests qui révèlent les régularités injustes que le modèle a captées dans son texte d’entraînement.
• L’Université du Texas à Austin vérifie si la production de GPT-2 peut encore être détectée après un ajustement fin du modèle sur des documents spécialisés.

Pour faciliter ce genre d’échange, OpenAI a publié une entente juridique non commerciale que toute organisation peut adapter. Elle a aussi publié un rapport technique sur les normes de publication. Selon VentureBeat, ce rapport a été coécrit avec Ariel Herbert-Voss, associée de recherche à Harvard, et il explique la logique de la publication par étapes : puisque les modèles plus grands tendent à être plus performants, les publier un à la fois laisse le temps d’étudier les risques à chaque étape.

Pourquoi cette publication compte

Pour les chercheurs et les amateurs, le changement pratique est simple : ils peuvent maintenant expérimenter avec un modèle deux fois plus grand que le précédent modèle public, qui écrit un texte nettement plus cohérent. Les avertissements du dépôt s’appliquent toujours. Les échantillons ne sont pas filtrés, les données d’entraînement comportent des biais et des erreurs que le modèle reproduit, et OpenAI recommande d’indiquer clairement qu’un texte généré est synthétique avant de le diffuser largement.

Pour le domaine dans son ensemble, cette publication met à l’essai une idée nouvelle. En février, des critiques soutenaient que retenir le modèle nuisait aux scientifiques qui n’avaient pas les moyens de le reconstruire, et certains y ont vu un coup de publicité. OpenAI tente maintenant de montrer que la publication progressive, combinée à un partage privé avec des partenaires de confiance, peut être une voie mitoyenne praticable entre tout publier et ne rien publier. Le laboratoire prévient aussi que ces questions vont prendre de l’ampleur, et non diminuer, à mesure que les modèles grossiront.

OpenAI publiera-t-elle le modèle GPT-2 complet?

Probablement, mais pas encore. Le plan annoncé par OpenAI est de publier le modèle à 1 558 millions de paramètres dans quelques mois. Elle ajoute une condition claire : les constats de ses partenaires, ou des signes que le modèle 774M est utilisé à mauvais escient, pourraient changer ce plan.

Trois éléments orienteront la décision. Le premier, c’est la recherche des partenaires : si Cornell constate que les plus grands modèles sont beaucoup plus persuasifs, ou si le Texas constate que leur texte est difficile à détecter, la prudence l’emportera. Le deuxième, c’est la façon dont les gens utiliseront le modèle publié hier. Le troisième, ce sont les discussions en cours avec d’autres chercheurs et avec les décideurs publics sur ce que signifient des modèles plus grands.

D’ici là, toute personne curieuse peut télécharger les petit, moyen et grand modèles à partir du dépôt GitHub d’OpenAI et les faire tourner sur son propre ordinateur. Comparer les trois tailles avec le même prompt est l’une des façons les plus claires de voir ce que des paramètres supplémentaires apportent vraiment.