# Qu’est-ce que DALL·E 2?

Date: 2022-04-07 · Author: Robert Scales · https://guidetoartificialintelligence.com/fr/apprendre/qu-est-ce-que-dall-e-2/

**Answer:** DALL·E 2 est un nouveau système d’OpenAI, annoncé le 6 avril 2022, qui crée des images réalistes et des œuvres d’art à partir d’une description écrite et peut aussi modifier ou remanier des images existantes. C’est un aperçu de recherche réservé à un petit groupe de testeurs, avec une liste d’attente pour tous les autres.

Hier, OpenAI a présenté DALL·E 2, un système qui transforme une phrase en image. Tapez une description comme « une peinture d’un renard assis dans un champ au lever du soleil, dans le style de Claude Monet », et il produit une image originale qui y correspond. Le premier DALL·E d’OpenAI, présenté en janvier 2021, le faisait déjà de façon approximative. La nouvelle version produit des images d’une résolution quatre fois plus grande, d’un réalisme bien supérieur.

Pour l’instant, très peu de gens peuvent l’utiliser. OpenAI offre un aperçu de DALL·E 2 à un groupe restreint d’utilisateurs de confiance et a ouvert une liste d’attente. Il n’est pas accessible par l’API d’OpenAI, et OpenAI le décrit comme un projet de recherche qu’elle étudie avant toute diffusion plus large.

## Ce qu’il sait faire

Selon OpenAI, DALL·E 2 a trois capacités principales :

1. **Créer à partir d’un texte.** Il combine des concepts, des attributs et des styles; vous pouvez donc demander un sujet inusité avec un rendu particulier.
2. **Modifier avec des mots.** Donnez-lui une image existante et une légende, et il peut ajouter ou retirer des éléments tout en gardant les ombres, les reflets et les textures cohérents.
3. **Créer des variantes.** Montrez-lui une image, et il en crée de nouvelles versions inspirées de l’originale.

Quand des évaluateurs humains ont comparé 1 000 images de chaque système, ils ont préféré DALL·E 2 au premier DALL·E dans 71,7 % des cas pour la fidélité à la légende et dans 88,8 % des cas pour le photoréalisme.

## Comment il fonctionne, en termes simples

DALL·E 2 s’appuie sur CLIP, un modèle antérieur d’OpenAI qui a appris à relier des images aux mots qu’on utilise pour les décrire. L’article de recherche publié avec DALL·E 2 décrit deux étapes :

| Étape | Ce qui se passe |
|---|---|
| Prior (*a priori*) | Transforme votre légende en plongement d’image CLIP, une liste de nombres qui résume ce que l’image doit contenir |
| Décodeur | Transforme ce plongement en véritable image |

Le décodeur utilise une technique appelée diffusion. Il part d’un bruit aléatoire, comme la neige d’un téléviseur, et le raffine étape par étape jusqu’à ce qu’apparaisse une image qui correspond à la description. Il produit d’abord une petite image de 64 pixels sur 64, puis l’agrandit à 256 sur 256 et enfin à 1024 sur 1024.

## Limites et mesures de protection

L’article est franc au sujet des points faibles. DALL·E 2 confond parfois quelle propriété appartient à quel objet : quand on lui demande « un cube rouge posé sur un cube bleu », il peut inverser les couleurs. Il a du mal à écrire du texte lisible dans les images, et les scènes complexes peuvent manquer de détails fins.

OpenAI énumère aussi des mesures de sécurité. Elle a retiré des données d’entraînement le contenu le plus explicite, limité la capacité du système à produire des images violentes, haineuses ou pour adultes, et utilise des techniques pour empêcher la création de visages photoréalistes de personnes réelles, y compris de personnalités publiques. Sa politique de contenu interdit les images violentes, pour adultes et politiques, et des filtres vérifient à la fois les prompts écrits et les images téléversées.

> **À essayer :** regardez une photo que vous aimez et rédigez-en une description d’une phrase. Réécrivez-la ensuite en y ajoutant quatre éléments : le sujet, le décor, l’éclairage et le style ou la technique. Lisez les deux versions à voix haute et demandez-vous laquelle un inconnu pourrait dessiner le plus fidèlement.

## Comment décrire une image pour qu’une IA puisse la dessiner?

Décrivez-la comme vous le feriez pour un illustrateur humain qui ne peut pas vous poser de questions. Le système ne sait que ce que disent vos mots; chaque choix important doit donc se trouver dans la phrase. Un ordre utile : **sujet**, **action ou décor**, **style ou technique**, puis **détails** comme l’éclairage, les couleurs et le point de vue.

Comparez une demande vague avec une demande complète :

```prompt
Un chien.
```

```prompt
Un chiot golden retriever assis dans un champ d’herbes hautes au coucher du soleil, contre-jour chaud, faible profondeur de champ, photographie.
```

La première laisse presque tout au hasard. La seconde précise la race, l’âge, la pose, le lieu, le moment de la journée, l’éclairage et la technique. L’exemple d’OpenAI fonctionne de la même façon : un renard (sujet), assis dans un champ au lever du soleil (décor), en peinture dans le style de Monet (style).

Quelques habitudes aident à contourner les faiblesses connues de DALL·E 2. Quand les couleurs ou les positions comptent, indiquez-les simplement et clairement, et vérifiez le résultat, puisque l’article montre qu’il peut mélanger les attributs entre les objets. Évitez de compter sur des mots écrits dans l’image; l’article note qu’il a du mal à les épeler. Gardez des scènes raisonnablement simples si les détails comptent. Et traitez la première image comme un brouillon : changez une seule partie de la description à la fois, pour voir l’effet de chaque mot.

## Sources

- DALL·E 2: https://openai.com/dall-e-2/
- Hierarchical Text-Conditional Image Generation with CLIP Latents: https://cdn.openai.com/papers/dall-e-2.pdf