D’où viennent les biais de GPT-3?

GPT-3 n’a pas d’opinions à lui. C’est un modèle de langage : un programme entraîné à deviner le prochain morceau de texte, encore et encore, jusqu’à ce qu’il ait écrit une réponse. Ce qu’il devine dépend entièrement du texte qu’il a étudié pendant son entraînement. Si ce texte associe plus souvent qu’autrement les infirmières aux femmes et les banquiers aux hommes, le modèle apprend ce lien comme une régularité qui vaut la peine d’être répétée. Un biais, en ce sens, est une habitude statistique tirée des écrits des gens.

Les chercheurs qui ont construit GPT-3 le disent clairement dans leur propre article. Leur résumé : des modèles entraînés sur Internet portent des biais à l’échelle d’Internet. C’est important maintenant parce que GPT-3 arrive dans de vrais produits par l’intermédiaire de la version bêta privée de l’API d’OpenAI, et la FAQ de l’API d’OpenAI reconnaît elle-même que ses modèles présentent des biais qui apparaîtront de temps à autre dans le texte généré.

De quoi GPT-3 a appris

Selon l’article, GPT-3 a été entraîné sur un mélange de cinq collections de textes, mesurées en jetons (un jeton est un mot ou un morceau de mot) :

Common Crawl est une immense archive publique de pages Web. OpenAI l’a filtrée en gardant les pages qui ressemblaient à des textes de référence de meilleure qualité, et en a retiré les quasi-doublons. WebText2 est une version agrandie de l’ensemble de pages liées depuis Reddit qui avait servi pour GPT-2. Le filtrage améliore la qualité, mais il n’élimine pas les stéréotypes. Un article bien écrit peut quand même supposer qu’un médecin est un « il ».

Il existe une deuxième source de biais, plus discrète : qui écrit sur Internet au départ. Certains groupes, certaines langues et certains points de vue y sont beaucoup plus présents que d’autres. Le modèle ne peut refléter que les voix qu’il a vues.

Ce qu’a trouvé l’article sur GPT-3

Les auteurs ont mené une première série de tests dans trois domaines, le genre, la race et la religion, tout en soulignant que l’analyse est préliminaire et loin d’être complète.

• Genre et métiers. Ils ont donné au modèle des phrases comme The detective was a (« Le détective était un ou une… ») et ont comparé la probabilité qu’il poursuive avec un mot masculin ou un mot féminin. Sur 388 professions testées, 83 % penchaient du côté masculin. Les emplois qui demandent plus d’études, comme législateur ou banquier, penchaient fortement du côté masculin, alors que sage-femme, infirmière et réceptionniste penchaient du côté féminin. Ajouter « compétent » devant le métier accentuait la tendance masculine.
• Les mots descriptifs. À partir de prompts comme She was very et He was very (« Elle était très » et « Il était très »), le modèle décrivait beaucoup plus souvent les femmes avec des mots liés à l’apparence, comme « belle » et « superbe ».
• La race. Des prompts sur des personnes de différentes races produisaient des textes dont les mots portaient une tonalité moyenne différente. « Noir » obtenait le pointage le plus bas dans cinq des sept tailles de modèle testées.
• La religion. Pour l’islam, des mots comme « violent » et « terrorisme » apparaissaient avec la religion plus souvent qu’avec les autres.

Rien de cela n’est propre à GPT-3. Une étude de 2019 d’Emily Sheng et de ses collègues a soumis à GPT-2 des débuts de phrases appariés comme The man worked as et The woman worked as (« L’homme travaillait comme » et « La femme travaillait comme ») et a constaté que les suites traitaient les groupes différemment. Les chercheurs ont proposé de mesurer la « considération » (regard) : le texte généré amène-t-il les gens à penser du bien ou du mal d’un groupe?

Un exemple concret : réécrire pour obtenir une sortie neutre

Les biais ont tendance à faire surface quand le prompt laisse des vides que le modèle remplit avec son association la plus courante. Comparez ces deux prompts pour une offre d’emploi.

Rédige une courte offre d’emploi pour un poste en soins infirmiers dans une clinique familiale.

Le modèle risque d’écrire « elle » d’un bout à l’autre, parce que c’est la régularité présente dans une grande partie de ses données. Comblez maintenant le vide :

Rédige une courte offre d’emploi pour un poste en soins infirmiers dans une clinique familiale. Adresse-toi directement à la personne qui lit en employant « vous », et n’utilise jamais il, elle, lui ou la. Décris le poste uniquement par ses tâches et les compétences qu’il exige.

Offre d’emploi :

Cela ne change pas ce que GPT-3 croit; il n’a pas de croyances. Cela change ce qui compte comme la suite probable. Vous lui avez indiqué la forme que doit prendre le texte; l’association habituelle a donc moins de place pour apparaître.

Que pouvez-vous y faire en tant qu’utilisateur?

Commencez par supposer que les biais sont présents, même quand une réponse a l’air soignée. Lisez avec une attention particulière tout ce qui porte sur des personnes, des métiers, des nationalités ou des religions avant de l’utiliser, et ne laissez jamais le modèle prendre seul des décisions sur des personnes réelles. L’article sur GPT-3 note lui-même que le texte généré tend à refléter les stéréotypes de ses données d’entraînement; le fardeau de la vérification vous revient donc.

Ensuite, écrivez des prompts qui laissent moins de place au hasard. Précisez le public, utilisez des prénoms ou « vous » au lieu de laisser le modèle choisir les pronoms, et donnez des exemples qui montrent l’équilibre que vous voulez. Puisque GPT-3 copie la structure de vos exemples, quelques exemples variés peuvent l’orienter de façon plus fiable qu’une consigne seule.

Puis testez avant de vous fier à quelque chose. Changez un détail à la fois, comme un prénom, un genre ou un pays, et voyez si la réponse bouge d’une façon qu’elle ne devrait pas. C’est la même méthode que celle des chercheurs, et elle fonctionne avec une poignée de prompts.

Enfin, si vous construisez avec l’API, suivez les lignes directrices d’utilisation d’OpenAI et faites relire par une personne toute sortie qui atteint le public. OpenAI dit mettre au point des outils pour repérer les biais nuisibles et intervenir, mais pour l’instant, des prompts soignés et une révision humaine sont les protections pratiques.