Que veut dire GPT, et que font les transformers génératifs préentraînés?

GPT signifie *Generative Pre-trained Transformer* (transformer génératif préentraîné). C’est un modèle qui écrit du texte nouveau un morceau à la fois (génératif), qui a appris l’essentiel de ce qu’il sait en lisant une énorme quantité de texte avant qu’on lui pose la moindre question (préentraîné), et qui utilise une architecture appelée Transformer, qui évalue le lien entre chaque mot de votre prompt et tous les autres.

Que veut dire GPT, et que font les transformers génératifs…

Ces trois lettres sont partout ce printemps : GPT-4, ChatGPT, des applications « propulsées par GPT ». Ce n’est pas un slogan de marque. Chacune désigne une vraie idée sur la façon dont le modèle a été construit, et les connaître explique bien des choses : ce que ChatGPT fait bien, là où il trébuche, et pourquoi votre prompt compte autant.

Le nom remonte à un article d’OpenAI de 2018 intitulé Improving Language Understanding by Generative Pre-Training. Tous les modèles depuis, jusqu’à GPT-4 sorti le mois dernier, suivent la même recette de base. Prenons les trois mots un à un.

G pour génératif : il écrit, il ne consulte pas

Un modèle génératif produit un résultat nouveau au lieu de récupérer une réponse stockée. Quand vous posez une question à ChatGPT, il ne cherche pas dans une table de réponses toutes faites. Il écrit la réponse un petit morceau de texte à la fois, appelé jeton (token), en choisissant chaque fois un morceau suivant probable compte tenu de tout ce qui précède.

Une analogie de tous les jours : un bibliothécaire va chercher le livre qui contient déjà votre réponse; un écrivain compose un paragraphe neuf à partir de ce qu’il a appris. Un modèle GPT est l’écrivain. C’est pourquoi deux personnes qui posent la même question peuvent obtenir des réponses formulées différemment, et pourquoi le modèle peut avoir l’air sûr de lui à propos d’une chose tout simplement fausse. Il produit un texte plausible, il ne cite pas un document vérifié. La propre page d’OpenAI sur GPT-4 indique que le modèle peut encore inventer des faits et commettre des erreurs de raisonnement.

P pour préentraîné : la lecture a eu lieu avant votre arrivée

Le préentraînement est la longue première étape de l’apprentissage, faite une seule fois, avant que le modèle soit offert à qui que ce soit. On montre au modèle une énorme quantité de texte et il pratique un seul jeu, encore et encore : deviner le mot suivant, vérifier, s’ajuster. OpenAI indique que le modèle de base de GPT-4 a été entraîné de cette façon sur des données accessibles publiquement, comme du texte d’Internet, ainsi que sur des données obtenues sous licence.

Pensez à une nouvelle employée qui, avant sa première journée, a lu une immense bibliothèque : manuels, romans, recettes, querelles de forums, code. Personne ne lui a encore appris le travail propre à votre entreprise, mais elle arrive avec la grammaire, une culture générale et un sens de nombreux genres d’écriture. Une courte deuxième étape, appelée ajustement fin (fine-tuning), façonne ensuite cette lectrice généraliste pour un rôle précis. Pour GPT-4, OpenAI utilise une méthode appelée apprentissage par renforcement à partir de la rétroaction humaine (RLHF), où des personnes évaluent des réponses et où le modèle est orienté vers celles qu’elles préfèrent.

OpenAI fait une remarque révélatrice sur ce partage : les capacités du modèle semblent venir surtout du préentraînement, alors que l’étape suivante oriente surtout son comportement. Sans cette orientation, le modèle de base a besoin de prompts soignés ne serait-ce que pour comprendre qu’il doit répondre à votre question.

T pour Transformer : lire toute la phrase d’un coup

Le Transformer est une architecture de réseau présentée par des chercheurs de Google dans un article de 2017. Les modèles de langage précédents lisaient le texte à peu près un mot après l’autre, comme on suit une ligne du doigt. Le Transformer met en relation tous les mots d’un passage les uns avec les autres en parallèle, grâce à un mécanisme appelé attention : pour chaque mot, il détermine quels autres mots comptent le plus pour son sens, et dans quelle mesure.

Prenez la phrase « Le trophée n’entrait pas dans la valise parce qu’il était trop gros. » Pour deviner à quoi renvoie « il », un lecteur doit relier « il » à « trophée », à « valise » et à « gros ». L’attention est le mécanisme qui permet au modèle de faire ces liens dans toute la phrase. La capacité de traiter le texte en parallèle a aussi rendu possible l’entraînement sur beaucoup plus de données, et c’est ce qui a permis le préentraînement à grande échelle.

Un exemple concret : ce que le préentraînement vous donne gratuitement

Vous n’avez jamais entraîné ChatGPT sur vos tâches, et pourtant il peut en tenter beaucoup du premier coup. Essayez ces trois demandes dans une même conversation :

Prompt

1. Corrige la grammaire : « Moi et elle avons allé au marché hier. »
2. Cette critique est-elle positive ou négative? « La soupe était froide et le serveur nous a ignorés. »
3. Explique en deux phrases, pour un enfant de 10 ans, pourquoi le ciel est bleu.

Aucune de ces habiletés n’a été ajoutée spécialement pour vous. Chacune vient de régularités que le modèle a absorbées en lisant :

Demande	Ce sur quoi elle s’appuie dans le préentraînement
Correction grammaticale	Des millions d’exemples de phrases en langue standard
Ton d’une critique	D’innombrables critiques où des mots comme « froide » et « ignorés » accompagnent des plaintes
Explication à un enfant	De nombreux textes écrits dans un registre simple et amical

L’article original de 2018 avait remarqué cet effet tôt. Avant même tout entraînement propre à une tâche, le modèle préentraîné pouvait déjà tenter certaines tâches pour lesquelles il n’avait jamais été configuré. C’est le cœur du « P » : une compétence générale, prête avant votre premier prompt.

À essayer : posez à ChatGPT les trois demandes ci-dessus, puis ajoutez-en une quatrième sur un sujet que vous connaissez bien, comme une recette de chez vous ou une règle de votre travail. Comparez l’assurance de son ton avec son exactitude sur le sujet que vous pouvez vérifier.

Pourquoi le « préentraînement » compte-t-il pour les utilisateurs ordinaires?

D’abord, il explique ce que le modèle sait et quand il a cessé d’apprendre. Le préentraînement a lieu une seule fois, sur du texte recueilli jusqu’à un certain moment. OpenAI indique que GPT-4 ignore généralement les événements postérieurs à septembre 2021. Si vous l’interrogez sur les nouvelles de la semaine dernière, un modèle sans outil de navigation devine, il ne rapporte pas. Pour tout ce qui est récent, donnez-lui les faits dans votre prompt ou vérifiez auprès d’une autre source.

Ensuite, il explique pourquoi le contexte dans votre prompt est si puissant. Le modèle possède déjà de vastes connaissances; votre travail consiste à le diriger vers la bonne partie. Un prompt qui nomme le public, le but et le format (« un courriel de 150 mots à un propriétaire, poli mais ferme ») puise bien mieux dans ce qu’il a appris que « écris un courriel ».

Enfin, il fixe des attentes justes. Comme le modèle a appris à partir d’un vaste mélange de textes, y compris des contenus inexacts et contradictoires, il a absorbé des erreurs et des biais en même temps que des connaissances. Traitez ses réponses comme le premier jet d’un collègue cultivé : souvent très utile, parfois faux, et toujours à vérifier rapidement avant de partir sous votre nom.