OpenAI a publié GPT-2 au complet : qu’est-ce qui a changé?

Hier, OpenAI a publié la plus grande version de GPT-2, son modèle de langage qui génère du texte, avec 1,5 milliard de paramètres. C’est la dernière étape d’une « publication par étapes » (staged release) commencée en février, quand le laboratoire a annoncé GPT-2, mais a gardé le modèle complet privé par crainte d’usages malveillants. En plus des poids du modèle (les nombres entraînés qui le font fonctionner), OpenAI publie un modèle de détection pour aider à repérer le texte de GPT-2 et une model card (fiche technique du modèle) qui décrit ses limites.

Pour quiconque s’intéresse aux modèles de langage, c’est un grand moment. Jusqu’ici, les gens de l’extérieur ne pouvaient utiliser que les plus petites versions. Le modèle même qu’OpenAI a présenté en février peut maintenant être téléchargé et exécuté.

Comment la publication par étapes s’est déroulée

OpenAI a publié GPT-2 en quatre tailles sur neuf mois. Notez que le laboratoire a corrigé ses nombres de paramètres d’origine; les deux premières tailles ont donc de nouveaux noms :

En août, en même temps que le modèle 774M, OpenAI a annoncé des partenariats de recherche avec quatre groupes : l’Université Cornell, sur la façon dont les gens réagissent à la désinformation générée; le Center on Terrorism, Extremism, and Counterterrorism (CTEC) du Middlebury Institute, sur les usages malveillants extrémistes; l’Université de l’Oregon, sur les biais; et l’Université du Texas à Austin, sur la détection. Il a précisé que le modèle complet suivrait d’ici quelques mois, à moins qu’un élément nouveau ne le fasse changer d’avis.

Ce qu’OpenAI dit avoir appris

Le billet d’annonce présente cinq constats :

• Les gens trouvent le texte convaincant. Dans un sondage de Cornell, les lecteurs ont accordé au texte du modèle 1.5B une note de crédibilité de 6,91 sur 10, un peu plus que le modèle 774M (6,72) et nettement plus que le modèle 355M (6,07). Comme l’écart avec la publication précédente était faible, OpenAI se sentait plus à l’aise de publier.
• Il peut subir un ajustement fin à des fins malveillantes. Le CTEC a montré que GPT-2 peut être réentraîné pour produire de la propagande au service d’idéologies extrémistes.
• La détection est difficile. Le détecteur d’OpenAI, construit sur un modèle appelé RoBERTa, repère environ 95 % du texte produit par GPT-2 complet. Le laboratoire juge que ce n’est pas suffisant à lui seul et que l’outil doit être combiné au jugement humain et à d’autres indices, comme la provenance d’un texte.
• Aucune preuve solide d’usage malveillant jusqu’ici. OpenAI reconnaît qu’il ne peut pas voir toutes les menaces, et que des groupes déterminés pourraient construire eux-mêmes des modèles semblables.
• Les biais exigent des normes. OpenAI a sondé GPT-2 pour y détecter des biais liés au genre, à l’origine ethnique et à la religion, et soutient que la communauté de recherche a besoin de méthodes communes pour les étudier.

OpenAI présente l’ensemble du processus comme un cas d’essai pour de futurs modèles puissants et dit poursuivre la discussion dans le cadre des travaux du Partnership on AI sur les normes de publication responsable.

Ce que cela signifie pour les développeurs et les curieux

Les lecteurs trouvent le texte du modèle complet un peu plus crédible que celui des plus petits, mais il garde les mêmes faiblesses. Le dépôt d’OpenAI prévient que les modèles peuvent être incohérents ou inexacts de façon subtile, qu’ils portent probablement les biais et les erreurs de leurs données d’entraînement tirées du Web, et que les échantillons ne sont pas filtrés et peuvent être offensants. Il recommande d’indiquer clairement que le texte généré est synthétique avant de le diffuser largement.

Comment pouvez-vous essayer GPT-2 vous-même?

La voie la plus simple est un site Web qui fait tourner le modèle pour vous. La mise à jour d’OpenAI du mois d’août renvoyait à TalkToTransformer.com, un site créé par Adam King qui vous permet de taper un prompt dans votre navigateur et de voir GPT-2 le poursuivre. Aucune installation n’est nécessaire, ce qui en fait un bon premier contact.

Si vous êtes à l’aise avec la ligne de commande, vous pouvez faire tourner le modèle sur votre propre ordinateur à partir du dépôt GitHub d’OpenAI. Voici les étapes des notes pour les développeurs :

git clone https://github.com/openai/gpt-2.git && cd gpt-2
pip3 install tensorflow==1.12.0
pip3 install -r requirements.txt
python3 download_model.py 1558M
python3 src/interactive_conditional_samples.py --top_k 40

L’étape de téléchargement va chercher le modèle selon le nom de sa taille (124M, 355M, 774M ou 1558M); vous pouvez donc commencer petit si votre machine est modeste. Lancez le script d’échantillonnage avec -- --help pour afficher ses options avant votre premier essai. La dernière commande ouvre une invite interactive : tapez quelques phrases, appuyez sur Entrée, et le modèle écrit une suite. Le réglage --top_k limite chaque choix aux 40 jetons suivants les plus probables, ce qui tend à garder le texte plus cohérent; une option --temperature rend le résultat plus ou moins audacieux. Une carte graphique aide beaucoup avec les plus grands modèles.

Quelle que soit la voie choisie, traitez le résultat comme un brouillon écrit par un devineur très habile avec les mots. Il ne vérifie pas les faits, et il invente avec assurance des noms, des chiffres et des citations. C’est donc un excellent outil pour explorer le fonctionnement des modèles de langage, et une mauvaise source d’information.