Comment agrandir et retoucher des images avec l’outpainting et l’inpainting de DALL·E 2?

Jusqu’à tout récemment, une image de DALL·E 2 restait dans son cadre d’origine, et on ne pouvait modifier que ce qui se trouvait à l’intérieur. Le 31 août, OpenAI a ajouté la direction qui manquait : l’outpainting, qui prolonge une image au-delà de ses bords d’origine. Avec l’inpainting, la fonction plus ancienne qui remplace une partie d’une image, il fait passer DALL·E d’un générateur d’images à quelque chose qui ressemble davantage à un outil de retouche.

Les deux fonctions se trouvent dans l’éditeur de DALL·E, qui est en version bêta et qui, pour l’instant, ne fonctionne pleinement que sur un ordinateur de bureau. Sur un téléphone, vous pouvez quand même faire de l’inpainting avec le bouton Edit, mais l’outpainting exige un ordinateur.

Les deux outils en mots simples

L’inpainting (peindre à l’intérieur) comble un trou. Vous effacez une zone d’une image, tapez une description de ce qui devrait s’y trouver, et DALL·E peint un nouveau contenu dans cette zone seulement. Le reste de l’image reste tel quel.

L’outpainting (peindre à l’extérieur) ajoute de la toile. Vous placez le cadre de génération de l’éditeur pour qu’il chevauche le bord de votre image, décrivez ce qui se trouve au-delà, et DALL·E peint la nouvelle zone en harmonie avec le reste. Répétez l’opération dans n’importe quelle direction et vous pouvez construire une grande image de n’importe quel format, d’une affiche verticale à une bannière horizontale. La vitrine d’OpenAI elle-même prolonge La Jeune Fille à la perle de Vermeer jusqu’à créer toute une pièce autour d’elle.

Dans les deux cas, le modèle tient compte de l’image existante, y compris les ombres, les reflets et les textures, si bien que les nouvelles parties se fondent dans l’ensemble au lieu d’avoir l’air collées.

Un exemple concret : d’une photo carrée à une bannière de site Web

Disons que vous avez une photo carrée d’un vélo bleu appuyé contre le mur d’un café, et qu’il vous faut une bannière large pour un site Web. Il y a aussi une poubelle à côté du vélo, que vous préféreriez ne pas montrer. Voici les étapes :

1. Ouvrez l’éditeur. Téléversez la photo, ou choisissez une image dans votre historique DALL·E, et cliquez sur Edit. Vous pouvez aussi partir d’une toile vierge à labs.openai.com/editor. Notez que DALL·E refuse les téléversements qui contiennent des visages réalistes; choisissez donc une photo sans personne.
2. Retirez la poubelle (inpainting). Sélectionnez l’outil Erase et peignez par-dessus la poubelle, en laissant une petite marge autour. Dans la boîte du prompt, décrivez toute la scène avec le changement voulu (en anglais, comme on le tape dans l’outil : un vélo bleu contre un mur de café en pierre pâle, un pot en terre cuite avec un petit olivier à côté, douce lumière du matin, photographie) :

A blue bicycle leaning against a pale stone café wall, a terracotta pot with a small olive tree beside it, soft morning light, photograph

1. Choisissez le meilleur résultat. Chaque génération propose plusieurs options. Choisissez celle où l’ombre du pot tombe du même côté que celle du vélo.
2. Prolongez vers la droite (outpainting). Faites glisser le cadre de génération pour qu’environ le tiers à la moitié de sa surface couvre encore la photo et que le reste déborde sur la toile vide. Décrivez la scène qui se poursuit dans cette direction (le même mur de café en pierre pâle qui continue vers la droite, une porte en bois avec une poignée en laiton) :

The same pale stone café wall continuing to the right, a wooden door with a brass handle, soft morning light, photograph

1. Prolongez vers la gauche. Recommencez avec un prompt pour le côté gauche, par exemple une fenêtre où se reflètent des tables de café.
2. Téléchargez. Utilisez l’outil Download pour enregistrer un fichier PNG. Les images agrandies ne sont pas encore enregistrées automatiquement; téléchargez donc après chaque étape qui vous plaît.

Les proportions de l’étape 4 sont une règle empirique, pas un chiffre officiel. Le principe qui la sous-tend vient du guide de l’éditeur d’OpenAI : le cadre de génération est tout ce que le modèle peut voir quand il peint, alors il lui faut assez de l’image existante pour que le style ne dérive pas.

Les conseils du guide de l’éditeur

L’article d’aide d’OpenAI ajoute quelques conseils pratiques. S’il y a des personnages dans la scène, complétez-les d’abord et le paysage ensuite, pour que leur corps soit réussi. Gardez assez de l’image existante dans le cadre. À mesure que vous vous éloignez du centre, demandez une palette de couleurs sourdes pour éviter que les couleurs deviennent trop saturées. Et pensez à l’histoire que vous voulez que la grande image raconte avant de choisir dans quelle direction la prolonger.

Vous pouvez aussi téléverser d’autres images, les redimensionner et les placer sur la toile, ce qui permet de fusionner deux images ou d’en « décadrer » une pour lui donner plus d’espace.

Quand vaut-il mieux retoucher que régénérer?

Retouchez quand la plus grande partie de l’image est déjà réussie. Si la composition, l’éclairage et le sujet principal fonctionnent et qu’une seule zone cloche, comme un objet, une main ou un bout d’arrière-plan, l’inpainting corrige cette zone et laisse intact tout ce qui vous plaît. Régénérer à partir de zéro jette les bonnes parties et relance les dés sur chacune d’elles.

Retouchez quand il vous faut un autre format. Si une image carrée est bonne mais qu’il vous faut une bannière, un fond d’écran de téléphone ou une couverture de livre, l’outpainting prolonge ce que vous avez au lieu d’espérer qu’un nouveau prompt produise quelque chose d’aussi bon dans un nouveau cadre.

Régénérez quand le problème, c’est l’idée en entier : le mauvais style, une composition trop chargée ou un sujet qui ne fonctionne nulle part. Dans ces cas, vous mettrez plus d’efforts à rapiécer qu’à recommencer.

Le coût est semblable dans les deux cas. Dans l’éditeur, chaque clic sur Generate utilise un crédit, peu importe la portion de la toile que vous remplissez. Un nouveau prompt texte coûte aussi un crédit et donne quatre images, alors qu’une retouche ou une variation en donne trois. Pour une grande œuvre agrandie par outpainting, les crédits s’additionnent un cadre à la fois; planifiez donc vos prolongements avant de commencer.