# Qu’est-ce que DALL·E, et comment dessine-t-il des images à partir d’une phrase?

Date: 2021-01-06 · Author: Robert Scales · https://guidetoartificialintelligence.com/fr/apprendre/qu-est-ce-que-dall-e/

**Answer:** DALL·E est une version de GPT-3 à 12 milliards de paramètres qu’OpenAI a dévoilée le 5 janvier 2021, entraînée sur des paires de textes et d’images pour pouvoir créer des images originales à partir d’une légende écrite, comme « un fauteuil en forme d’avocat ». Il écrit une image comme GPT-3 écrit du texte, un petit morceau à la fois, et OpenAI a utilisé son modèle compagnon, CLIP, pour choisir les meilleurs résultats.

Hier, le 5 janvier 2021, OpenAI a présenté un réseau de neurones qui transforme de courtes descriptions en images. Tapez « une illustration d’un bébé radis daikon en tutu promenant un chien », et **DALL·E** produit une série de radis de dessin animé en tutu, chacun promenant un chien. Demandez « un fauteuil en forme d’avocat », et vous obtenez des fauteuils qui ressemblent à des demi-avocats, le noyau servant de coussin.

Le nom combine celui du peintre Salvador Dalí et celui du robot WALL·E de Pixar. Derrière ces exemples ludiques se cache une idée sérieuse : le même type de modèle qui écrit du texte peut aussi apprendre à dessiner, si on l’entraîne sur des mots et des images ensemble.

## Ce qu’OpenAI a annoncé

DALL·E est une version de **GPT-3**, le grand modèle de langage qu’OpenAI a présenté l’an dernier, avec 12 milliards de **paramètres**, les nombres ajustables qu’un réseau règle pendant l’entraînement. La MIT Technology Review le décrit comme une version plus petite de GPT-3. Au lieu d’être entraîné seulement sur du texte, il l’a été sur un jeu de données de paires texte-image.

Le billet de blogue d’OpenAI, rédigé surtout par le chef de projet Aditya Ramesh, présente des dizaines d’exemples interactifs. Il n’offre pas le modèle en téléchargement ni pour un usage public, et promet bientôt un article de recherche plus détaillé sur le plan technique. Ilya Sutskever, directeur scientifique d’OpenAI, a supervisé le projet.

L’annonce est arrivée en même temps que celle de **CLIP**, un deuxième modèle qui juge à quel point une légende correspond à une image. Les deux sont conçus pour fonctionner en duo.

## Comment DALL·E transforme des mots en image

Pour un modèle comme GPT-3, tout est une suite de **jetons**, de petites unités tirées d’un vocabulaire fixe, comme les lettres d’un alphabet. DALL·E place une légende et une image dans une même suite :

| Partie de la suite | Comment elle est stockée | Taille |
|---|---|---|
| Légende | Jusqu’à 256 jetons de texte, tirés d’un vocabulaire de 16 384 | Comme une courte phrase |
| Image | Une image de 256 × 256 compressée en une grille de 32 × 32 codes d’image | 1 024 jetons, tirés d’un vocabulaire de 8 192 |
| Total | Un seul flux que le modèle lit et écrit dans l’ordre | Jusqu’à 1 280 jetons |

L’étape de compression utilise un réseau distinct, un **autoencodeur variationnel discret**, entraîné à comprimer chaque image en ces 1 024 codes et à la reconstruire. Vous pouvez imaginer chaque code comme une tuile choisie parmi 8 192 sortes de tuiles de mosaïque.

L’entraînement fonctionne ensuite exactement comme la prédiction de texte. DALL·E lit les jetons de la légende et apprend à prédire les jetons d’image qui suivent, l’un après l’autre. Pour créer une nouvelle image, vous lui donnez une légende et il remplit lui-même les 1 024 jetons d’image; le décodeur les retransforme en image. Comme il remplit les jetons dans l’ordre, il peut aussi terminer une image que vous avez commencée, en complétant le reste d’une photo de façon cohérente avec le texte.

DALL·E dessine de nombreux candidats pour chaque légende. Pour les exemples de son billet, OpenAI a généré 512 images par légende, les a fait classer par CLIP, puis a montré les 32 meilleures. OpenAI affirme qu’aucune image n’a été choisie à la main, à part les vignettes et les images isolées hors des sections interactives.

> **À essayer :** écrivez trois légendes qui combinent deux choses qui ne vont normalement pas ensemble, en suivant le conseil d’OpenAI d’utiliser des formules comme « en forme de » ou « fait de », par exemple « une théière en forme de citrouille ». Esquissez, ou décrivez simplement en une phrase, ce à quoi vous vous attendriez d’un dessin sensé. Cette image mentale, c’est le problème que DALL·E doit résoudre : il remplit tous les détails que les mots laissent de côté.

## Ce qu’il fait bien, et où il échoue

Les exemples d’OpenAI montrent un modèle capable de :

- **Combiner des idées sans lien**, comme un escargot fait d’une harpe ou une girafe croisée avec une tortue.
- **Changer des attributs**, comme dessiner une horloge en forme de pentagone vert, ou donner à un cube la texture piquante d’un porc-épic.
- **Contrôler l’angle de vue et le style**, y compris des gros plans, des vues aériennes, de l’animation en pâte à modeler ou un rendu de radiographie.
- **Écrire un texte simple** dans une scène, comme une devanture de magasin portant le mot « openai ».
- **Transformer une photo**, par exemple changer la couleur d’une théière ou y ajouter du texte, même s’il n’a jamais été entraîné spécialement pour le faire.

Les échecs sont tout aussi instructifs. DALL·E ne sait pas compter de façon fiable au-delà de trois. Quand une légende nomme plusieurs objets de couleurs différentes, il les mélange souvent, et le taux de réussite chute nettement à mesure qu’on ajoute des objets. Certaines positions, comme « assis sur », fonctionnent parfois, alors que « debout derrière » ou « à gauche de » ne fonctionnent pas. Remplacer les mots d’une légende par des synonymes peut donner des résultats complètement différents. Les chaînes de texte plus longues sont plus difficiles à écrire correctement pour lui.

La MIT Technology Review ajoute des points de vue extérieurs. Mark Riedl, qui étudie la créativité computationnelle à Georgia Tech, a qualifié l’ensemble d’exemples d’impressionnant, mais soupçonne que les dessins de daikon reflètent peut-être en partie des dessins animés que le modèle a vus en ligne. Des chercheurs de l’Allen Institute for AI ont affirmé n’avoir jamais vu de systèmes texte-image antérieurs contrôler aussi bien plusieurs objets.

## Pourquoi c’est important

Transformer du texte en images n’est pas nouveau. Les recherches antérieures utilisaient des **GAN**, des réseaux antagonistes génératifs, dans lesquels un réseau produit des images et un autre les juge. DALL·E prend une autre voie : il montre qu’un modèle de type GPT peut traiter des images et des mots dans le même flux et combiner des idées d’une façon qui semble créative.

OpenAI décrit le résultat comme donnant aux gens une partie des pouvoirs d’un logiciel de rendu 3D, mais au moyen du langage courant et avec la capacité de « combler les vides » qu’une légende laisse. L’entreprise reconnaît aussi des risques : le billet indique que le laboratoire prévoit d’étudier les effets possibles de DALL·E sur l’emploi, les biais dans ses résultats et des questions éthiques à plus long terme. Ses propres tests montrent déjà une forme de biais, avec des réponses stéréotypées pour des prompts portant sur la nourriture ou la faune d’un pays.

Sutskever a confié à la MIT Technology Review qu’il voit DALL·E et CLIP comme des étapes vers des modèles qui comprennent à la fois le texte et les images.

## Pouvez-vous utiliser DALL·E vous-même?

Pas encore. L’annonce n’offre aucun téléchargement ni aucune version publique dans laquelle vous pourriez taper. Ce que vous pouvez faire dès aujourd’hui, c’est explorer les exemples interactifs du billet, qui montrent les résultats de DALL·E pour de nombreuses variantes de chaque légende.

OpenAI annonce un article détaillant l’architecture et l’entraînement. Il permettra aux chercheurs d’étudier la méthode de près, même sans le modèle lui-même.

En attendant, le code de CLIP est offert, et il permet de comprendre concrètement la moitié du système : la partie qui juge si une image correspond à ses mots. Beaucoup s’attendent à ce que l’accès aux outils texte-image s’élargisse un jour, mais OpenAI n’a donné aucun échéancier, et son intention déclarée d’étudier les effets sociaux laisse croire qu’elle avancera avec prudence.

## Sources

- DALL·E: Creating Images from Text: https://openai.com/blog/dall-e/
- This avocado armchair could be the future of AI: https://www.technologyreview.com/2021/01/05/1015754/avocado-armchair-future-ai-openai-deep-learning-nlp-gpt3-computer-vision-common-sense/