# Comment OpenAI est-elle passée de GPT-1 à GPT-4?

Date: 2023-08-07 · Author: Robert Scales · https://guidetoartificialintelligence.com/fr/apprendre/de-gpt-1-a-gpt-4-openai/

**Answer:** OpenAI a conservé une même recette de base de GPT-1, en 2018, à GPT-4, en 2023 : un réseau Transformer préentraîné à prédire le mot suivant sur d’énormes quantités de texte. Ce qui a changé, c’est l’échelle, d’environ 117 millions à 175 milliards de paramètres avec GPT-3, et la façon d’obtenir du travail du modèle, qui est passée d’un entraînement propre à chaque tâche à des demandes en langage courant.

GPT signifie *generative pre-trained transformer*, ou transformeur génératif préentraîné. « Génératif » veut dire que le modèle produit du texte. « Préentraîné » veut dire qu’il apprend d’abord à partir d’un grand corpus de texte ordinaire en prédisant le mot suivant, encore et encore, avant d’être utilisé pour quoi que ce soit de précis. « Transformer » désigne le type de réseau de neurones, une architecture construite autour de l’attention, qui permet au modèle de soupeser chacun des mots précédents au moment de choisir le suivant.

Tous les modèles, de GPT-1 à GPT-4, reposent sur cette même fondation. L’histoire de la série, c’est ce qui s’est passé quand OpenAI a agrandi les modèles, leur a fourni plus de texte et a changé la façon dont les gens leur demandent des choses.

## Quatre générations en un coup d’œil

| Modèle | Article | Taille | Idée clé |
|---|---|---|---|
| GPT-1 | 2018 | environ 117 millions de paramètres | Préentraîner sur du texte non étiqueté, puis ajuster une copie pour chaque tâche avec des exemples étiquetés |
| GPT-2 | Février 2019 | 1,5 milliard | Entraîné sur WebText, environ 40 Go tirés de 8 millions de pages Web; commence à accomplir des tâches sans aucun entraînement propre à la tâche |
| GPT-3 | Mai 2020 | 175 milliards | Apprend une tâche à partir de consignes et de quelques exemples placés dans le prompt |
| GPT-4 | Mars 2023 | non divulguée | Accepte les images aussi bien que le texte; ajusté grâce à la rétroaction humaine pour suivre les demandes; obtient des résultats bien meilleurs aux examens |

Les paramètres sont les nombres ajustables à l’intérieur du réseau qui changent pendant l’entraînement. L’article sur GPT-2 note que son plus petit modèle a la même taille que le GPT d’origine; c’est de là que vient le chiffre de 117 millions. Entre GPT-3 et GPT-4 est venu GPT-3.5, le modèle qu’OpenAI utilise comme principal point de comparaison dans le rapport sur GPT-4.

## Une tâche, quatre générations

Une bonne façon de voir le changement est de suivre une même tâche à travers la série : traduire une phrase de l’anglais vers le français. Les exemples ci-dessous sont donnés à titre d’illustration, construits à partir des méthodes que décrit chaque article.

**GPT-1.** On ne pouvait pas simplement demander. L’approche de 2018 consistait à prendre le modèle préentraîné et à lui appliquer un ajustement fin, c’est-à-dire l’entraîner encore un peu sur un jeu de données étiquetées conçu pour une seule tâche. Pour la traduction, il fallait un ensemble étiqueté de paires anglais-français et une séance d’entraînement avant d’obtenir la moindre réponse.

**GPT-2.** L’article de 2019 a tenté quelque chose de nouveau : aucun entraînement supplémentaire, seulement une entrée habilement façonnée. Les chercheurs ont donné au modèle des paires d’exemples sous la forme « phrase anglaise = phrase française », puis une phrase anglaise suivie de « = », et l’ont laissé poursuivre :

```prompt
The cat is sleeping. = Le chat dort.
I like apples. = J’aime les pommes.
The library opens at nine. =
```

Ça n’a fonctionné que modestement. À un test standard de traduction de l’anglais vers le français, GPT-2 a obtenu un résultat légèrement inférieur à une substitution mot à mot au moyen d’un dictionnaire. Le modèle avait tout de même acquis un peu de capacité de traduction sans avoir été entraîné pour cela.

**GPT-3.** L’article de 2020 a fait de cette astuce la méthode principale. Vous écrivez une courte consigne et une poignée d’exemples, ce qu’on appelle le *few-shot prompting* (le prompt à quelques exemples), et le modèle en déduit la tâche :

```prompt
Traduis de l’anglais au français.

Anglais : The cat is sleeping.
Français : Le chat dort.

Anglais : I like apples.
Français : J’aime les pommes.

Anglais : The library opens at nine.
Français :
```

L’article rapporte que GPT-3 avec quelques exemples a battu les systèmes de traduction non supervisés antérieurs pour traduire vers l’anglais, mais qu’il a fait moins bien dans l’autre sens.

**GPT-4.** En 2023, vous pouvez demander comme vous le demanderiez à une personne : « Traduis “The library opens at nine” en français, et donne aussi une version plus soutenue. » Le modèle a été ajusté par apprentissage par renforcement à partir de la rétroaction humaine (RLHF), une méthode dans laquelle des personnes notent les réponses et le modèle apprend à préférer celles qu’elles notent le mieux. GPT-4 peut aussi recevoir une image en entrée; en principe, la phrase pourrait donc arriver sous la forme d’une photo d’affiche.

> **À essayer :** collez le prompt de style GPT-2 ci-dessus dans ChatGPT, puis celui de style GPT-3, puis une demande toute simple. Les trois fonctionneront probablement, parce que le modèle d’aujourd’hui gère chacune de ces formes. Remarquez laquelle rend votre intention la plus claire, et laquelle vous donne les compléments les plus utiles.

## Qu’est-ce qui a changé à chaque étape?

De GPT-1 à GPT-2, le changement a porté sur l’échelle et les données. Le modèle est devenu plus de dix fois plus gros, et il a appris à partir de WebText, une nouvelle collection de millions de pages Web vers lesquelles des utilisateurs de Reddit avaient fait des liens. La surprise, c’est qu’un modèle plus gros, entraîné seulement à prédire du texte, s’est mis à répondre à des questions, à résumer et à traduire sans aucun entraînement propre à ces tâches. L’article a même obtenu des résumés en ajoutant « `TL;DR:` » après un article, en empruntant une habitude d’Internet.

De GPT-2 à GPT-3, l’échelle a de nouveau fait un bond, jusqu’à 175 milliards de paramètres entraînés sur environ 300 milliards de jetons. L’idée nouvelle était l’apprentissage en contexte : montrez la tâche dans le prompt, et le modèle s’adapte sur-le-champ, sans aucune modification de ses poids. Cela a rendu un même modèle utile pour des milliers de tâches et a fait naître la rédaction de prompts comme compétence.

De GPT-3 à GPT-4, OpenAI a cessé de publier la taille, les données d’entraînement et le matériel, en invoquant la concurrence et la sécurité. Ce qu’elle a rapporté, ce sont un meilleur raisonnement et de meilleurs résultats aux examens, l’entrée d’images, et un entraînement avec rétroaction humaine pour que le modèle suive les demandes en langage courant et refuse plus souvent celles qui sont nuisibles. La recette reste bien reconnaissable depuis 2018; ce qui a le plus changé, c’est à quel point il est devenu facile de demander ce que l’on veut.

## Sources

- Language Models are Unsupervised Multitask Learners: https://cdn.openai.com/better-language-models/language_models_are_unsupervised_multitask_learners.pdf
- Language Models are Few-Shot Learners: https://arxiv.org/abs/2005.14165
- GPT-4 Technical Report (v1): https://arxiv.org/abs/2303.08774v1