Qu’est-ce qu’AI Dungeon 2, et comment utilise-t-il GPT-2?

Les aventures textuelles classiques, comme Zork, décrivent une scène en mots et attendent que vous tapiez une commande comme « go north » (aller au nord) ou « take lamp » (prendre la lampe). Le hic a toujours été que le jeu ne comprend que ce que son concepteur a prévu. AI Dungeon 2, que Nick Walton a rendu jouable dans un navigateur Web ces derniers jours, supprime cette limite. Vous pouvez taper n’importe quoi, et un modèle de langage écrit le résultat.

Le jeu attire l’attention comme une façon concrète de découvrir GPT-2, le modèle de génération de texte qu’OpenAI a fini de publier en version complète le 5 novembre. PC Gamer a raconté avoir joué un magicien qui explorait une ruine et qui, quelques tours plus tard, rencontrait une version plus jeune de lui-même. C’est exactement ce genre de surprise qui fait l’intérêt du jeu.

D’AI Dungeon à AI Dungeon 2

Le premier AI Dungeon de Walton utilisait le plus petit modèle GPT-2, avec 124 millions de paramètres. Pour limiter les coûts de calcul, il générait quelques actions possibles et laissait le joueur en choisir une.

AI Dungeon 2 abandonne le menu. Selon le compte rendu de Walton sur le blogue d’un laboratoire de recherche de l’Université Brigham Young, il apporte trois changements principaux :

L’ajustement fin (fine-tuning) consiste à prendre un modèle qui a déjà appris la langue en général et à l’entraîner encore un peu sur un type de texte précis, pour qu’il en adopte le style.

Comment le jeu fait avancer l’histoire

Chaque aventure commence quand vous choisissez un décor et un personnage. Ces choix produisent deux morceaux de texte : un prompt de départ, qui est le début de l’histoire, et une « phrase de contexte », qui est fournie au modèle à chaque tour pour qu’il reste ancré dans l’univers choisi.

Chaque fois que vous tapez une action, le jeu envoie à GPT-2 la phrase de contexte ainsi que vos huit dernières actions et leurs résultats, puis lui demande de poursuivre. Walton a trouvé que huit était un bon équilibre. Tout ce qui est plus ancien sort du champ de vision du modèle, et c’est pourquoi un personnage rencontré il y a longtemps peut être oublié.

Il y a un dernier ajustement. GPT-2 a tendance à se répéter; en s’inspirant d’une idée du modèle CTRL de Salesforce, le jeu pénalise donc les mots déjà générés. Cela lui permet d’utiliser une « température » plus basse, un réglage qui détermine à quel point le choix des mots est audacieux, sans tomber dans des boucles.

Voici à peu près ce que le modèle reçoit en un seul tour, dans le style de l’exemple de magicien de Walton :

Tu es Mira, une chevalière du royaume de Larion. Tu portes une épée et un bouclier.
[tours récents]
> entrer dans la caverne
Tu avances dans la caverne. De l’eau tombe goutte à goutte du plafond et tu entends un grognement sourd.
> allumer une torche
La torche s’embrase, et tu vois un ours endormi, roulé en boule à côté d’un coffre.
> s’approcher du coffre sans bruit

La tâche du modèle consiste simplement à écrire les quelques phrases suivantes.

Les limites que vous remarquerez

Walton est franc : le modèle fait parfois preuve d’une compréhension remarquable et, à d’autres moments, il confond quel personnage parle ou agit, surtout dans les conversations. PC Gamer note qu’il peut tourner en boucle, rester bloqué ou planter, et qu’il prend quelques minutes à charger. Il hérite aussi des faiblesses qu’OpenAI a décrites en publiant GPT-2 : le texte peut être convaincant sans être cohérent, et le modèle n’a aucun sens intégré de la vérité ni des règles du jeu.

Que peut nous apprendre une aventure textuelle par IA sur les modèles de langage?

D’abord, elle montre ce que fait réellement un modèle de langage. GPT-2 ne fait pas tourner un monde de jeu avec des cartes, des inventaires et des règles. Il prédit les mots suivants à partir du texte qu’il a devant lui. Quand l’histoire paraît cohérente, cela vient des régularités apprises pendant l’entraînement et du contexte que fournit le jeu; quand elle se défait, vous voyez les limites de ce contexte.

Ensuite, elle montre que ce qu’on donne au modèle compte autant que le modèle lui-même. Les choix de conception d’AI Dungeon 2, la phrase de contexte toujours présente, la mémoire de huit tours et la pénalité de répétition, sont autant de façons d’influencer ce qui entre dans le modèle et la manière dont il choisit ses mots. Quiconque construit avec des modèles de langage fait face aux mêmes questions : qu’est-ce que le modèle doit voir, et qu’est-ce qu’on peut laisser de côté?

Enfin, c’est une façon ludique et sans conséquence de développer de bons réflexes. Dans un jeu fantastique, un roi inventé ou un dragon surgi de nulle part fait partie du plaisir. Dans un article de presse ou une réponse de devoir, la même habitude d’inventer avec assurance pose problème. Jouer pendant une heure vous apprend à vous attendre à des surprises bien tournées, et à vérifier tout ce qui compte.