Que sont les réseaux antagonistes génératifs (GAN), et comment deux réseaux apprennent-ils en s’affrontant?

Les réseaux antagonistes génératifs, présentés par Ian Goodfellow et ses collègues de l’Université de Montréal dans un article mis en ligne le 10 juin 2014, entraînent deux réseaux de neurones l’un contre l’autre : un générateur qui crée de faux échantillons et un discriminateur qui tente de les distinguer des vraies données. Comme chacun s’améliore pour battre l’autre, le générateur apprend à produire de nouvelles images qui ont l’air réelles, ce qui a fait des GAN la principale façon de créer des images réalistes avec l’IA.

Que sont les réseaux antagonistes génératifs (GAN), et comment…

Jusqu’en 2014, la plupart des succès de l’apprentissage profond portaient sur la reconnaissance : cette photo montre-t-elle un chat, quel mot a été prononcé, quel est ce chiffre? Créer des choses nouvelles, comme la photo réaliste d’un visage qui n’a jamais existé, était beaucoup plus difficile. Le 10 juin 2014, une équipe de l’Université de Montréal a mis en ligne un article qui proposait une nouvelle idée pour y arriver. Au lieu d’un seul réseau, en utiliser deux, et en faire des rivaux.

L’article, « Generative Adversarial Nets », compte huit auteurs. Il est dirigé par Ian Goodfellow, qui terminait alors son doctorat, et on y trouve Yoshua Bengio, chercheur principal de l’institut de recherche canadien CIFAR. L’approche est aujourd’hui connue sous le nom de réseaux antagonistes génératifs, ou GAN. « Génératif » signifie que le système génère de nouvelles données; « antagoniste » signifie qu’il apprend par une compétition.

L’idée : des faussaires et la police

Les auteurs ont expliqué leur méthode par une analogie. Imaginez une équipe de faussaires qui tente d’imprimer de faux billets de banque, et la police qui tente de les attraper. Au début, les faux sont grossiers et faciles à repérer. Chaque fois que la police en attrape un, les faussaires apprennent ce qui l’a trahi et s’améliorent. À mesure que les faux s’améliorent, la police doit devenir plus perspicace. Si la compétition dure assez longtemps, les faux deviennent impossibles à distinguer des vrais billets.

Dans un GAN, les deux camps sont des réseaux de neurones :

Le générateur reçoit des nombres aléatoires en entrée et les transforme en un échantillon, par exemple une image.
Le discriminateur examine une image et donne la probabilité qu’elle soit réelle, c’est-à-dire tirée des données d’entraînement, plutôt que fabriquée par le générateur.

Le générateur ne voit jamais directement les vraies images. Il apprend uniquement des verdicts du discriminateur : il s’ajuste pour que le discriminateur se trompe le plus souvent possible. L’article décrit cela comme un jeu « minimax » à deux joueurs, un terme de la théorie des jeux qui désigne une compétition où un camp cherche à maximiser ce que l’autre cherche à minimiser. En théorie, le jeu se termine quand le générateur reproduit parfaitement les régularités des vraies données et que le discriminateur ne peut faire mieux qu’à pile ou face, en répondant « réel » avec une probabilité d’une sur deux.

Une ronde d’entraînement, étape par étape

Voici une ronde d’entraînement d’un GAN, avec des photos de visages comme exemple :

Étape	Discriminateur	Générateur
1	Reçoit un lot de vraies photos de visages, étiquetées « réel »	Transforme du bruit aléatoire en un lot de faux visages
2	Reçoit les faux, étiquetés « faux »	Attend
3	S’ajuste pour mieux distinguer les deux groupes	Attend
4	Juge un nouveau lot de faux	S’ajuste pour que ces faux obtiennent une note plus « réelle »
5	Recommence des milliers de fois	Recommence des milliers de fois

Un avantage pratique souligné dans l’article : les deux réseaux peuvent être des réseaux multicouches ordinaires entraînés par rétropropagation, la méthode standard pour ajuster les connexions d’un réseau. Les méthodes génératives antérieures avaient souvent besoin de procédures d’échantillonnage lentes appelées chaînes de Markov; les GAN, non.

Les auteurs ont testé l’idée sur trois jeux de données standards : MNIST, une collection de chiffres manuscrits; la Toronto Face Database; et CIFAR-10, de petites photos d’objets comme des voitures et des animaux. Les échantillons étaient flous selon les critères d’aujourd’hui, mais reconnaissables, et l’équipe a vérifié que le générateur produisait de nouvelles images plutôt que de copier des exemples d’entraînement.

À essayer : jouez au jeu des faussaires avec un ami. L’un de vous écrit trois faits réels et un « fait » inventé sur un sujet; l’autre tente de repérer le faux et explique comment. Échangez les rôles pendant cinq rondes et remarquez comment les faux et le travail de détective s’améliorent tous les deux.

Les points faibles

L’article était franc au sujet des difficultés. Les deux réseaux doivent rester en équilibre. Si le générateur est trop entraîné sans que le discriminateur suive, il peut trouver une sortie qui trompe le discriminateur et produire presque la même chose pour chaque entrée. Les auteurs ont appelé cela « le scénario Helvetica »; les chercheurs parlent souvent d’effondrement des modes (mode collapse). Les GAN ne donnent pas non plus de mesure directe de la qualité avec laquelle ils modélisent les données, ce qui les rend difficiles à évaluer.

Pourquoi les GAN ont compté

Malgré ces problèmes, les GAN se sont rapidement imposés, et les chercheurs n’ont cessé de publier de nouvelles variantes. Dès 2017, les GAN généraient des visages convaincants, et en 2019, les visages créés par un système appelé StyleGAN étaient comparés aux hypertrucages. En 2018, un portrait créé par un GAN, Edmond de Belamy, s’est vendu aux enchères pour 432 500 $ US. Les GAN servent aussi à rendre plus nettes des images de basse résolution, à simuler des données pour l’astronomie et la physique, et à proposer de nouvelles molécules de médicaments. En mai 2020, GameGAN de Nvidia a recréé le jeu Pac-Man simplement en le regardant jouer.

Cette même puissance a soulevé des inquiétudes. Les « hypertrucages » fondés sur des GAN, de fausses vidéos réalistes de personnes réelles, ont poussé la Californie à adopter en 2019 des lois contre la fausse pornographie non consentie et les vidéos trompeuses de candidats aux élections.

Comment les GAN se comparent-ils aux nouveaux générateurs d’images comme DALL-E?

DALL-E, qu’OpenAI a annoncé le 5 janvier 2021, emprunte une autre voie. Il n’utilise ni générateur ni discriminateur. OpenAI le décrit comme une version de GPT-3 à 12 milliards de paramètres. Il lit une légende et une image comme une seule longue séquence de jetons, de petits morceaux de texte et d’image, et apprend à les produire l’un après l’autre. À partir d’un prompt comme « un fauteuil en forme d’avocat », il écrit les jetons d’image qui devraient suivre. OpenAI utilise ensuite CLIP, un modèle qui évalue à quel point une image correspond à une légende, pour classer les résultats et garder les meilleurs.

Cette différence a des effets pratiques. La plupart des GAN connus sont entraînés sur un seul type d’image, comme des visages, et deviennent très bons pour ce type précis. DALL-E vise l’étendue : presque n’importe quelle scène que vous pouvez décrire en mots. Les GAN n’étaient pas absents de cet objectif : l’annonce d’OpenAI elle-même souligne que des systèmes texte-image antérieurs, comme StackGAN et AttnGAN, étaient des GAN guidés par du texte.

Quelle approche dominera reste une question ouverte. Ce qui semble acquis, c’est l’idée lancée par l’équipe de Goodfellow : un modèle peut s’améliorer en essayant de tromper un critique, et un critique peut s’améliorer en refusant de se laisser tromper. Le rôle de CLIP dans DALL-E, qui juge quelles images correspondent le mieux aux mots, est un écho plus doux de ce même partenariat.