# Qu’est-ce que GPT-2, et pourquoi OpenAI ne le publie-t-il pas en entier?

Date: 2019-02-15 · Author: Robert Scales · https://guidetoartificialintelligence.com/fr/apprendre/qu-est-ce-que-gpt-2/

**Answer:** GPT-2 est un nouveau modèle de langage d’OpenAI de 1,5 milliard de paramètres, entraîné à prédire le mot suivant sur environ 40 Go de texte du Web, qui peut écrire des paragraphes cohérents sur presque n’importe quel sujet qu’on lui propose. OpenAI retient le modèle complet parce qu’il craint que le texte serve à de fausses nouvelles, à l’usurpation d’identité ou au pourriel; pour l’instant, il ne publie qu’une version beaucoup plus petite, du code d’exemple et un article de recherche.

Hier, le laboratoire de recherche OpenAI a annoncé GPT-2, un modèle de langage qui écrit des textes étonnamment convaincants. Donnez-lui une phrase ou deux, et il poursuit dans le même style pendant des paragraphes, en gardant le fil des noms et des sujets bien mieux que les systèmes précédents. Il obtient aussi les meilleurs résultats à plusieurs tests de langue sans avoir été entraîné pour eux.

La surprise ne tient pas seulement à ce que GPT-2 peut faire, mais à ce qu’OpenAI choisit de ne pas partager. Le laboratoire garde privés le modèle complet, ses données d’entraînement et son code d’entraînement. Il publie un modèle beaucoup plus petit, du code pour générer des échantillons et un article technique, et présente sa décision comme une expérience de divulgation responsable.

## Ce qu’est GPT-2

Un modèle de langage est un programme entraîné à deviner le mot suivant dans un texte. GPT-2 ne fait que cela, mais le faire bien sur des millions de documents l’oblige à assimiler en chemin la grammaire, des faits, des styles et un peu de raisonnement.

Quelques chiffres tirés de l’article et de l’annonce :

| Détail | GPT-2 |
|---|---|
| Taille | 1,5 milliard de paramètres (les nombres ajustables à l’intérieur du modèle) |
| Texte d’entraînement | Environ 40 Go tirés d’à peu près 8 millions de pages Web, appelés WebText |
| Choix des pages | Des liens partagés sur Reddit qui ont reçu au moins 3 points de « karma », un signe approximatif que les gens les jugeaient intéressants |
| Conception | Un Transformer, la conception de réseau fondée sur l’attention présentée dans l’article de Google de 2017 |
| Fenêtre de lecture | 1 024 jetons (des mots ou des parties de mots) |

OpenAI décrit GPT-2 comme son premier modèle GPT de l’an dernier rendu beaucoup plus gros : plus de dix fois plus de paramètres, entraîné sur plus de dix fois plus de données. L’équipe de recherche a entraîné quatre tailles, de 117 millions à 1,5 milliard de paramètres, et a constaté que les performances continuaient de s’améliorer avec la taille.

## Ce qu’il peut faire, et où il échoue

L’échantillon vedette d’OpenAI commence par un prompt écrit par un humain au sujet de scientifiques qui découvrent dans les Andes un troupeau de licornes parlant anglais. GPT-2 poursuit avec un récit dans le style d’un article de presse, avec un scientifique inventé et des citations. Le texte est fluide et en grande partie cohérent.

Le laboratoire est franc sur les faiblesses. Il faut quelques essais pour obtenir de bons échantillons. Sur les sujets qui reviennent souvent sur le Web, le modèle donne un résultat raisonnable environ une fois sur deux; sur des sujets techniques ou pointus, il s’en tire mal. Parmi les échecs : du texte répété, des sauts étranges d’un sujet à l’autre et des erreurs sur le fonctionnement du monde, comme des feux qui brûlent sous l’eau.

Sans aucun entraînement supplémentaire, GPT-2 s’essaie aussi à la compréhension de lecture, à la traduction, à la réponse à des questions et au résumé, même s’il reste en deçà des systèmes conçus pour chacune de ces tâches. Les chercheurs appellent cela le cadre *zero-shot* (sans exemple) : le modèle est testé sur une tâche pour laquelle il n’a jamais été entraîné.

## Pourquoi OpenAI le retient

OpenAI énumère les bons usages qu’il prévoit, dont des assistants d’écriture, de meilleurs systèmes de dialogue, la traduction et la reconnaissance de la parole. Il énumère aussi ses craintes : des articles de nouvelles trompeurs, l’usurpation de l’identité de personnes en ligne et l’automatisation de messages faux ou abusifs et de pourriels. Dans l’annonce, il soutient que le public devra devenir plus sceptique à l’égard des textes trouvés en ligne, tout comme les vidéos d’hypertrucage (*deep fakes*) appellent au scepticisme à l’égard des images.

Le laboratoire admet que d’autres pourraient reproduire ses résultats. Son argument : une publication limitée donne du temps à la communauté de recherche pour discuter de ce que devrait être une publication responsable, comme le font déjà des domaines tels que la biotechnologie et la cybersécurité. OpenAI dit aussi ne pas être certain que ce soit la bonne décision et promet de revoir sa stratégie dans six mois.

> **À essayer :** écrivez les deux premières phrases d’une courte nouvelle, inoffensive, sur quelque chose d’inhabituel dans votre ville. Puis écrivez vous-même le paragraphe suivant que, selon vous, un générateur de texte ajouterait. Demandez à un ami quelles parties ont l’air écrites par une machine, et pourquoi.

## Que signifie une publication par étapes pour les chercheurs et le public?

Une publication par étapes consiste à partager un système puissant par paliers plutôt que d’un seul coup. Ici, la première étape, ce sont le petit modèle, le code d’échantillonnage et l’article. OpenAI ne s’est engagé sur aucune date pour quoi que ce soit de plus gros; il dit qu’il rediscutera de sa stratégie dans six mois, après avoir observé l’usage qu’on fait du petit modèle.

Pour les chercheurs, le compromis est réel. L’article donne assez de détails pour comprendre la méthode, et le petit modèle permet des expériences concrètes, mais aucune équipe extérieure ne peut vérifier directement les affirmations sur le modèle complet de 1,5 milliard de paramètres. Attendez-vous à un débat animé au cours des prochaines semaines : d’un côté, la prudence face aux abus; de l’autre, la tradition de publication ouverte de la recherche. Quoi qu’il en soit, OpenAI a lancé une discussion publique sur le moment et la façon de publier la recherche en IA.

Pour le public, le message pratique est simple. Une écriture fluide ne prouve plus qu’une personne l’a écrite. À mesure que les générateurs de texte s’améliorent, vérifier d’où vient un récit compte davantage que le fini de son style. Si vous êtes curieux, le petit modèle et le code sont déjà offerts pour faire des essais, et c’est une bonne façon de voir à la fois les forces et les erreurs étranges de ce nouveau type de système.

## Sources

- Better Language Models and Their Implications: https://openai.com/index/better-language-models/
- Language Models are Unsupervised Multitask Learners: https://cdn.openai.com/better-language-models/language_models_are_unsupervised_multitask_learners.pdf