Qu’est-ce qui a changé dans Stable Diffusion 2.0?

Trois mois après la première version publique de Stable Diffusion, Stability AI a publié la version 2.0 jeudi. Comme l’original, elle est ouverte : les fichiers du modèle et le code peuvent être téléchargés gratuitement et exécutés sur votre propre ordinateur, et les développeurs peuvent l’intégrer à leurs propres outils. Mais ce n’est pas une petite mise à jour. Plusieurs pièces maîtresses du modèle ont été remplacées, et les réactions des premiers jours montrent que les personnes qui ont passé des mois à peaufiner leurs prompts trouvent que le nouveau modèle se comporte autrement.

Pour comprendre pourquoi, il faut savoir qu’un modèle texte-image comme Stable Diffusion a deux tâches principales. D’abord, un encodeur de texte transforme votre prompt en une liste de nombres qui en saisit le sens. Ensuite, le générateur d’images, un modèle de diffusion, part d’un bruit aléatoire et le retire étape par étape, en se dirigeant vers une image qui correspond à ces nombres. La version 2.0 change à la fois l’encodeur et ce à partir de quoi le générateur a appris.

Les principaux changements

Un nouvel encodeur de texte. La version 1 utilisait une copie figée du modèle CLIP d’OpenAI (la version ViT-L/14) pour lire les prompts. La version 2.0 utilise OpenCLIP, un modèle ouvert entraîné par l’organisme sans but lucratif LAION avec le soutien de Stability AI. Stability affirme que le nouvel encodeur améliore grandement la qualité des images. Cela signifie aussi que le modèle a un « vocabulaire » différent d’associations entre les mots et les idées visuelles.

Des données d’entraînement filtrées. Les modèles 2.0 ont appris à partir d’un sous-ensemble esthétique de LAION-5B, une collection publique de milliards de paires d’images et de légendes recueillies sur le Web, filtrée à l’aide du détecteur de contenu pour adultes de LAION afin de retirer les images de nudité et de pornographie. Emad Mostaque, fondateur de Stability AI, a déclaré à The Verge que les images d’artistes n’avaient pas été retirées précisément.

Des images plus grandes. Il y a maintenant deux modèles texte-image, l’un avec une taille par défaut de 512x512 pixels et l’autre à 768x768. Un modèle agrandisseur distinct agrandit une image quatre fois, par exemple de 128x128 à 512x512, et ensemble ils peuvent atteindre 2048x2048 ou plus.

De nouveaux outils de retouche. Un modèle profondeur-vers-image, appelé depth2img, estime quelles parties d’une photo sont proches et lesquelles sont éloignées, puis génère une nouvelle image qui conserve cette structure tout en suivant votre texte. Un modèle de retouche (inpainting) mis à jour remplace une partie sélectionnée d’une image par ce que vous décrivez.

Stability dit avoir gardé le modèle assez petit pour fonctionner sur une seule carte graphique (GPU), comme la version 1.

Une comparaison de prompts

Beaucoup de prompts populaires de la version 1 s’appuient sur le nom d’artistes vivants. The Verge rapporte que les prompts qui nomment le peintre numérique Greg Rutkowski, dont bien des utilisateurs ajoutent le nom comme raccourci vers un rendu soigné, ne produisent plus avec la 2.0 d’images qui ressemblent de près à son travail. Selon Mostaque, cela vient de changements dans la façon dont le modèle encode et retrouve l’information, et non d’un filtrage des artistes.

Voici un prompt typique de la version 1 :

a lighthouse on a cliff at sunset, by Greg Rutkowski, trending on artstation, highly detailed

Et voici une réécriture pour la 2.0 qui décrit le rendu au lieu de nommer une personne :

a lighthouse on a rocky cliff at sunset, digital fantasy painting, dramatic warm backlight, crashing waves, visible brush strokes, rich orange and teal colors, highly detailed, wide view

Le tableau ci-dessous montre à quoi s’attendre. C’est un résumé illustratif du comportement rapporté, pas des résultats mesurés.

Pourquoi certains utilisateurs sont mécontents

Les réactions sont partagées. Certains utilisateurs ont dit à The Verge que la mise à jour « nerfe » le modèle, c’est-à-dire qu’elle l’affaiblit, parce qu’il est plus difficile d’imiter des artistes précis, de produire des images photoréalistes de célébrités ou de créer des images de nudité. D’autres disent que la nouvelle version comprend mieux les prompts et produit des photos plus convaincantes. De nombreux artistes se sont opposés à ce que leurs œuvres servent à l’entraînement sans leur consentement, et Mostaque a dit que les futures versions utiliseraient des jeux de données permettant aux artistes de choisir d’y participer ou de s’en retirer. Comme le modèle est ouvert, les versions précédentes restent disponibles, et chacun peut appliquer un ajustement fin au nouveau modèle avec d’autres images.

Vos anciens prompts fonctionnent-ils encore?

Ils s’exécutent toujours, mais beaucoup ne vous donneront pas la même image. La raison est le nouvel encodeur de texte. Votre prompt n’est que des mots; ce que le modèle dessine dépend de la façon dont l’encodeur traduit ces mots en nombres. OpenCLIP a appris ses associations à partir d’autres données d’entraînement que le CLIP d’OpenAI; une expression qui avait un sens fort et précis pour la version 1, comme le nom d’un artiste ou une mention comme « trending on artstation », peut donc avoir un effet plus faible ou différent dans la 2.0. Les prompts qui s’appuient sur ces raccourcis sont ceux qui changent le plus.

Les prompts descriptifs simples sont ceux qui voyagent le mieux. Les mots qui désignent le sujet, la technique, l’éclairage, la couleur et la composition ont un sens dans n’importe quel encodeur, et ils ont donc tendance à passer d’une version à l’autre. Une bonne habitude est de traiter la 2.0 comme un nouvel instrument : gardez un petit ensemble de cinq ou six prompts que vous connaissez bien, lancez-les sur les deux versions avec des graines fixes et ajustez une expression à la fois.

Enfin, vérifiez vos réglages, pas seulement vos mots. Si vous utilisez le modèle 768x768, générez à sa taille par défaut de 768x768 au lieu de reprendre vos anciens réglages à 512. Et si un flux de travail dépend d’un rendu précis de la version 1, vous pouvez continuer à utiliser la version 1 pour cette tâche pendant que vous apprivoisez le nouveau modèle.