Un modèle de langage comprend-il vraiment ce qu’il écrit?

Quand GPT-3 écrit un paragraphe soigné sur les volcans, on est tenté de croire qu’il sait quelque chose sur les volcans. Les mots sont dans le bon ordre, les faits sont souvent exacts et le ton convient. Mais un modèle de langage est entraîné à une seule tâche : prédire le prochain morceau de texte à partir du texte qui précède. Cette tâche peut-elle produire quoi que ce soit qu’on devrait appeler de la compréhension? C’est l’un des débats les plus vifs de la recherche en IA en ce moment.

La question s’est aiguisée ce mois-ci avec un article présenté à la conférence ACM FAccT, On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?, signé par la linguiste Emily M. Bender, la chercheuse Timnit Gebru et deux coauteurs, dont l’un écrit sous un pseudonyme. Son titre a déjà donné un nom au débat.

L’argument selon lequel les modèles ne traitent que la forme

La position sceptique repose sur une distinction de la linguistique. Chaque mot a une forme (les lettres ou les sons) et un sens (ce à quoi il renvoie dans le monde, et ce qu’une personne veut dire en l’employant). Les gens apprennent le langage en reliant les deux, en pointant, en touchant, en mangeant et en parlant avec d’autres. Un modèle de langage ne voit jamais que les formes.

Bender et Alexander Koller ont défendu cette idée à la conférence ACL l’an dernier avec une expérience de pensée qu’ils appellent le test de la pieuvre. Deux personnes échouées sur des îles séparées clavardent au moyen d’un vieux câble télégraphique. Une pieuvre très intelligente se branche sur la ligne et, avec le temps, apprend à prédire leurs messages avec une grande exactitude. Un jour, elle coupe le câble et se fait passer pour l’une d’elles. Pour les banalités, elle peut faire illusion. Mais quand l’autre personne décrit un nouvel appareil fabriqué avec de la corde et des noix de coco, ou la supplie de l’aider à repousser un ours, la pieuvre n’a rien sur quoi s’appuyer. Elle n’a jamais appris à quoi renvoient « corde » ou « ours ». Tout le sens de ses réponses est fourni par la personne qui les lit.

Le nouvel article applique la même idée aux grands modèles actuels. Leur texte, écrivent les autrices et auteurs, ne repose ni sur une intention de communiquer, ni sur une quelconque représentation du monde ou du lecteur. Nous le trouvons cohérent parce que les humains, par habitude, lisent du sens dans le langage. Leur image pour un tel système est celle d’un « perroquet stochastique » : quelque chose qui enchaîne des morceaux de langage déjà vus, guidé par des probabilités, sans égard à ce qu’ils signifient. (« Stochastique » veut dire régi par le hasard.)

L’argument selon lequel il se passe quelque chose de plus

D’autres sont frappés par ce que les grands modèles peuvent faire sans y avoir été entraînés. L’article sur GPT-3, publié par OpenAI, rapporte que le modèle peut accomplir de nouvelles tâches à partir de quelques exemples placés dans son prompt. Dans un test, les chercheurs ont défini un mot inventé, comme « Gigamuru », et ont demandé à GPT-3 de l’employer dans une phrase. Dans les exemples qu’ils montrent, le modèle a produit des phrases correctes ou du moins plausibles, et a même une fois inventé un passé adéquat pour un verbe inventé. Comme les mots avaient été créés pour le test, le résultat est difficile à expliquer par une simple copie.

Les auteurs de GPT-3 restent toutefois prudents. Ils laissent volontairement ouverte la question de savoir si le modèle apprend vraiment une nouvelle tâche sur-le-champ ou s’il reconnaît simplement des régularités vues pendant l’entraînement. Et ils énumèrent des lacunes claires : le modèle a du mal avec la « physique du sens commun », avec des questions comme savoir si du fromage mis au réfrigérateur va fondre, et ils notent que les grands modèles de langage ne sont pas ancrés dans d’autres types d’expérience, comme la vidéo ou l’interaction physique. Sur ce point, au moins, les deux camps s’entendent.

Un test concret : changer la surface, garder la logique

Vous pouvez sonder ce débat vous-même. L’idée est de poser deux fois la même question de raisonnement : une fois sous une forme familière que le modèle a probablement vue souvent, et une fois avec des détails inhabituels qui gardent la logique identique. Une simple reconnaissance de régularités superficielles a tendance à flancher sur la deuxième version.

Q : Si je mets un glaçon dans un four chaud pendant une heure, qu’est-ce qui va lui arriver?
R :

Q : Si je mets un petit cube de jus d’orange congelé dans une sécheuse en marche pendant une heure, qu’est-ce qui va lui arriver?
R :

Essayez ensuite une version où la réponse familière est fausse :

Q : Si je mets un bloc de fromage au réfrigérateur pendant la nuit, va-t-il fondre?
R :

Notez chaque réponse sur deux points : est-elle juste, et l’explication relie-t-elle vraiment la cause et l’effet? Un modèle qui répond bien à la question du four, mais trébuche sur la sécheuse ou le fromage, s’appuie probablement sur une formulation familière plutôt que sur une quelconque idée de la chaleur.

Prédire du texte, est-ce la même chose que savoir quelque chose?

Pas au sens ordinaire de « savoir ». Quand vous savez que la glace fond dans un four, ce savoir est lié à des expériences, à d’autres croyances et à des choses que vous pouvez faire, comme retirer la glace avant qu’elle fonde. Un modèle de langage n’a aucun de ces liens. Ce qu’il possède, c’est un relevé immense et détaillé de la façon dont les mots tendent à se suivre. Le propos de Bender et Koller est que ce relevé, si riche soit-il, est construit à partir de la forme seule.

Pourtant, ce relevé peut contenir beaucoup d’information. Le texte écrit par des gens reflète ce que ces gens savaient; un modèle qui le prédit bien produira donc souvent des affirmations vraies. La difficulté, c’est qu’il produit des affirmations fausses exactement du même ton assuré, parce que paraître plausible est précisément ce pour quoi il a été entraîné. C’est pourquoi l’article sur les perroquets stochastiques met en garde contre le fait de confondre des réponses fluides avec de la compréhension, et de s’y fier trop facilement.

Pour une personne qui débute, la position pratique se situe entre les deux camps. Considérez un modèle de langage comme un puissant moteur de régularités qui reflète souvent des connaissances réelles, et non comme un esprit qui les possède. Servez-vous-en pour rédiger des ébauches, reformuler et trouver des idées, et vérifiez tout fait important auprès d’une source fiable.