Qu’est-ce que DALL·E 3, et qu’est-ce qui change quand ChatGPT écrit vos prompts d’images?

Hier, OpenAI a annoncé DALL·E 3, la troisième génération de son système texte-image. Comme ses prédécesseurs, il transforme une description écrite, appelée prompt, en une nouvelle image. La différence sur laquelle OpenAI insiste, c’est l’exactitude : DALL·E 3 est conçu pour dessiner ce que vous avez réellement demandé, y compris les petits détails que les autres outils ont tendance à sauter.

Le deuxième grand changement, c’est l’endroit où il se trouve. DALL·E 3 est intégré directement à ChatGPT. Au lieu d’apprendre des astuces de prompt particulières, vous discutez de ce que vous voulez, et ChatGPT écrit les consignes détaillées pour le modèle d’images.

Ce qu’OpenAI a annoncé, et quand vous pourrez l’utiliser

DALL·E 3 est dans ce qu’OpenAI appelle un research preview (aperçu de recherche), c’est-à-dire une étape préliminaire limitée pendant que les tests se poursuivent. Le calendrier :

Les images appartiennent à la personne qui les crée, comme c’était le cas avec DALL·E 2. OpenAI précise que vous n’avez pas besoin de sa permission pour les reproduire, les vendre ou les mettre sur des produits dérivés.

OpenAI n’a pas publié de détails techniques sur la façon dont DALL·E 3 est construit ou entraîné. Sa page d’annonce présente surtout des exemples côte à côte qui, comme le note Ars Technica, ont été choisis pour montrer le système sous son meilleur jour.

Ce qui est nouveau : suivre le prompt

Quiconque a utilisé un générateur d’images connaît la frustration. Vous demandez un vélo rouge appuyé contre une porte bleue, avec un chat dans le panier, et vous obtenez une porte rouge, pas de chat, ou deux vélos. OpenAI affirme que les systèmes actuels ont tendance à ignorer des mots ou des descriptions, ce qui pousse les utilisateurs à apprendre l’ingénierie de prompts, l’art de formuler une demande de façons bizarres et répétitives pour obtenir le résultat voulu. DALL·E 3 vise à rendre la plupart de ces efforts inutiles.

Deux améliorations ressortent des exemples d’OpenAI :

• Le détail et la composition. Les longs prompts qui comportent plusieurs objets, couleurs et relations donnent des images où les éléments sont à la bonne place. OpenAI affirme que les détails fins, comme les mains, sont aussi meilleurs qu’avec DALL·E 2.
• Le texte dans les images. Les modèles précédents produisaient des lettres brouillées sur les enseignes et les étiquettes. DALL·E 3 peut rendre de courtes phrases lisibles. Un exemple montre un avocat de dessin animé dans le fauteuil d’un thérapeute, avec une bulle où il dit se sentir vide à l’intérieur, et un trou à la place de son noyau.

La comparaison d’OpenAI utilise le même prompt pour les deux versions : « Une peinture à l’huile expressive d’un joueur de basketball qui smashe, représenté comme l’explosion d’une nébuleuse. » L’image de DALL·E 3 est visiblement plus proche de cette description.

Comment fonctionne le lien avec ChatGPT

Voici, étape par étape, la façon de faire que décrit OpenAI :

1. Vous décrivez une idée dans ChatGPT, aussi brièvement ou aussi complètement que vous le voulez : « Une affiche pour le kiosque de limonade de ma fille, joyeuse, aux couleurs de l’été, avec le prix de 50 cents. »
2. ChatGPT écrit des prompts détaillés pour DALL·E 3, en précisant le style, la mise en page et des détails auxquels vous n’auriez peut-être pas pensé.
3. DALL·E 3 génère des images à partir de ces prompts.
4. Vous demandez des changements en mots simples : « Agrandis les citrons et mets le prix dans un cercle jaune. » ChatGPT ajuste le prompt et DALL·E 3 dessine de nouveau.

L’idée, c’est que ChatGPT agit comme partenaire de remue-méninges et comme traducteur entre la langue de tous les jours et les descriptions précises dont un modèle d’images a besoin. Cela veut aussi dire que l’image peut s’appuyer sur la conversation en cours, comme une histoire que vous écriviez ensemble. Ars Technica souligne que Bing Chat de Microsoft, qui utilise aussi la technologie d’OpenAI, offre des images à l’intérieur d’une conversation depuis mars; l’idée n’est donc pas entièrement nouvelle, mais l’intégration plus étroite avec ChatGPT l’est.

La sécurité et les artistes

OpenAI énumère plusieurs limites intégrées à DALL·E 3 :

• Comme les versions précédentes, il restreint les images violentes, pour adultes et haineuses.
• Il est conçu pour refuser les demandes qui nomment une personnalité publique.
• Il est conçu pour refuser les images dans le style d’un artiste vivant.
• Les artistes et les photographes peuvent maintenant demander que leurs images soient exclues de l’entraînement des futurs modèles d’images d’OpenAI.

OpenAI indique que des experts externes, membres d’une équipe rouge (red team), ont testé le modèle pour des risques comme la propagande et la désinformation. L’entreprise expérimente aussi un classificateur de provenance, un outil interne qui tente de déterminer si une image a été créée par DALL·E 3, et promet plus de détails bientôt.

Pourquoi c’est important

Les générateurs d’images sont devenus très bons pour produire de belles images; leur point faible, c’était le contrôle. Un outil qui dessine de façon fiable ce que vous décrivez, mots lisibles compris, est beaucoup plus utile pour le travail pratique : affiches, matériel de classe, maquettes de produits et illustrations d’histoires.

Mettre le modèle dans ChatGPT change aussi qui peut bien s’en servir. Les gens qui n’ont jamais appris les formulations particulières que récompensent les autres outils peuvent simplement expliquer ce qu’ils veulent et l’affiner dans la conversation. On verra si DALL·E 3 est à la hauteur de ses exemples vedettes dans l’usage quotidien quand les abonnés y auront accès en octobre.

Comment décrire une image pour que DALL·E 3 la réussisse?

Soyez précis sur ce qui compte et taisez ce qui ne compte pas. Nommez le sujet, l’endroit où il se trouve, le style (photo, aquarelle, pixel art, illustration en aplats), les couleurs principales et l’ambiance. Si vous voulez des mots dans l’image, mettez-les entre guillemets et gardez-les courts.

Décrivez clairement les relations : « un petit chien brun assis à gauche d’un gros chat orange » laisse moins de place à l’erreur que « un chien et un chat ». Dites à quoi sert l’image, comme une affiche, une couverture de livre ou une diapositive, parce que cela donne une indication sur la mise en page et le niveau de détail.

Servez-vous ensuite de la conversation. Au lieu de recommencer, demandez un changement à la fois : un éclairage plus vif, un autre angle, moins d’objets. De petits ajustements clairs, c’est ainsi qu’on oriente une image vers ce qu’on avait en tête.