Qu’est-ce qu’Imagen de Google, et comment transforme-t-il du texte en images?

Hier, Google Research a présenté Imagen, un système qui dessine des images à partir de descriptions écrites. Sa galerie d’exemples comprend un corgi à lunettes de soleil qui roule à vélo dans Times Square, une sculpture de canard en verre devant un tableau de paysage et un raton laveur peint dans le style de Rembrandt. Google affirme que ces images sont plus réalistes, et plus fidèles à ce que demandait le texte, que tout ce qu’il a testé d’autre.

L’annonce arrive peu après le dévoilement de DALL-E 2 par OpenAI, et Google compare directement les deux. Le plus intéressant, toutefois, est une constatation sur l’origine de la qualité : une meilleure compréhension de la langue, plus qu’un plus gros modèle d’images.

Ce que Google a annoncé, et quand

Le 23 mai 2022, l’équipe Brain de Google Research a mis en ligne une page de projet et, sur arXiv, un article intitulé « Photorealistic Text-to-Image Diffusion Models with Deep Language Understanding ». Chitwan Saharia, William Chan et Mohammad Norouzi y figurent comme premiers contributeurs à parts égales, et Jonathan Ho et David Fleet font partie des principaux contributeurs.

Ce qui a été publié relève de la recherche, pas d’un produit : une description de la méthode, des résultats de tests, un nouveau banc d’essai et une galerie d’exemples choisis à la main. Il n’y a ni application, ni démonstration, ni code.

Comment fonctionne Imagen

Imagen est un modèle de génération d’images à partir de texte (text-to-image) : vous tapez une description, appelée prompt, et il produit une image. Il fonctionne en trois étapes, qu’on peut voir comme un lecteur, un artiste qui esquisse et deux assistants qui ajoutent des détails.

Les étapes qui produisent l’image sont des modèles de diffusion. Un modèle de diffusion apprend à retirer du bruit. Pendant l’entraînement, il voit de vraies images auxquelles on a ajouté des parasites aléatoires et apprend à réparer les dégâts étape par étape. Pour créer une nouvelle image, il part d’un bruit pur et le nettoie, guidé par le texte, jusqu’à ce qu’une image émerge, un peu comme une photo qui se révèle lentement dans le bac d’une chambre noire.

C’est le lecteur qui surprend. T5-XXL est un modèle de langage que Google a entraîné auparavant sur du texte seulement; il n’a jamais vu d’image. Imagen l’utilise sans le modifier (gelé) pour comprendre les prompts. L’équipe a constaté qu’agrandir ce modèle de texte améliorait à la fois le réalisme des images et leur fidélité au prompt, bien davantage qu’agrandir le modèle d’images. Autrement dit, bien comprendre ce qui est demandé compte autant que le talent de dessinateur.

Les modèles d’images ont appris à partir d’environ 860 millions de paires image-légende : environ 460 millions tirées des jeux de données internes de Google et environ 400 millions tirées de LAION-400M, une collection publique recueillie sur le Web. L’article présente aussi deux améliorations techniques : le seuillage dynamique (dynamic thresholding), qui empêche les couleurs de délaver quand on pousse le modèle à suivre le prompt de près, et un réseau d’images plus rapide qu’il appelle Efficient U-Net.

Quelle est sa qualité?

Les chercheurs en images utilisent souvent un score appelé FID (Fréchet Inception Distance), qui mesure à quel point un ensemble d’images générées est statistiquement proche de vraies photos; plus il est bas, mieux c’est. Sur le jeu de données COCO, une collection standard de photos du quotidien accompagnées de légendes, Imagen obtient 7,27 sans jamais avoir été entraîné sur COCO. Dans la même comparaison, Google indique 10,39 pour DALL-E 2.

Comme un seul chiffre ne peut pas dire si une image respecte une consigne délicate, Google a aussi créé DrawBench, environ 200 prompts répartis en 11 catégories. Ils mettent à l’épreuve ce que les modèles d’images ratent souvent : compter des objets, les placer au bon endroit les uns par rapport aux autres, écrire des mots dans l’image, des mots rares et des descriptions longues et détaillées. Des évaluateurs humains ont comparé les images côte à côte. Face à DALL-E 2, ils ont préféré Imagen pour la fidélité au texte dans 7 des 11 catégories et pour la qualité d’image dans les 11.

Voici comment vous pourriez tester un système avec des prompts dans l’esprit de DrawBench :

Trois tulipes jaunes dans un vase bleu, à gauche d’une pomme rouge, sur une table en bois.

Un panneau routier sur lequel on lit « RALENTIR : PASSAGE DE TORTUES », devant un étang.

Le premier vérifie à la fois le décompte, les couleurs et la position; le second vérifie si le modèle sait épeler.

Pourquoi c’est important

Imagen renforce une tendance amorcée par DALL-E 2 : les modèles de diffusion peuvent désormais produire des images que bien des gens prendraient pour des photographies ou des illustrations professionnelles. Il en découle aussi une leçon pratique pour les personnes qui conçoivent des systèmes. Les grands modèles de langage entraînés uniquement sur du texte, déjà courants dans les laboratoires d’IA, se révèlent de puissants « lecteurs » prêts à l’emploi pour les systèmes d’images; les progrès des modèles de langage pourraient donc se transmettre directement à la création d’images.

Le nouveau banc d’essai compte aussi. En publiant DrawBench, Google donne aux autres chercheurs un ensemble commun de prompts difficiles, ce qui rend plus faciles à vérifier les affirmations sur des images « meilleures ».

Pourquoi Google ne laisse-t-il pas le public utiliser Imagen?

Google dit clairement avoir décidé de ne publier ni le code ni de démonstration publique pour l’instant. Il donne plusieurs raisons. Les outils de génération d’images à partir de texte pourraient être utilisés à mauvais escient, par exemple pour créer des images trompeuses. Les données moissonnées sur le Web pour l’entraînement, dont LAION-400M, sont connues pour contenir des images pornographiques, des propos racistes et des stéréotypes nuisibles, et seule une partie des données d’Imagen a été filtrée. L’encodeur de texte T5, entraîné sur du texte du Web non filtré, apporte avec lui les biais des grands modèles de langage.

Les premières vérifications de Google lui-même ont relevé des problèmes. Imagen s’en tire nettement moins bien quand on lui demande de représenter des personnes. Il a tendance à produire des personnes à la peau plus claire, et les images de différentes professions ont tendance à suivre les stéréotypes de genre occidentaux. Même les scènes sans personnes montraient des biais sociaux et culturels.

L’équipe dit vouloir mettre au point une façon de partager de tels modèles qui permette un examen externe sans accès illimité, et créer de meilleures méthodes pour mesurer les biais des générateurs d’images. Pour l’instant, la galerie et l’article sont les seuls moyens de voir Imagen à l’œuvre. Les lecteurs qui veulent le comprendre peuvent étudier les exemples de prompts de l’article et sa liste DrawBench, qui donnent une idée claire de ce que le système fait bien et des points où les modèles de génération d’images à partir de texte peinent encore.