Quoi de neuf dans Midjourney V4, et pourquoi ses images sont-elles si différentes?

Les utilisateurs de Midjourney ont un nouveau modèle à essayer. Hier, 5 novembre 2022, le laboratoire de recherche indépendant a lancé la première version alpha de V4, son quatrième modèle d’images, et l’entreprise promet des images plus détaillées, plus réalistes et plus fidèles qu’auparavant.

Une version alpha est une version d’essai précoce : le cœur est en place, des fonctions manquent et les choses peuvent encore changer. V4 côtoie les modèles existants pendant que les essais se poursuivent.

Ce que Midjourney a annoncé

Le fondateur et PDG David Holz a présenté V4 dans une annonce à la communauté Discord de Midjourney. Ses points principaux :

• V4 n’est pas une mise à jour de V3 : Holz décrit une nouvelle base de code et une nouvelle architecture d’IA écrites à partir de zéro.
• C’est aussi le premier modèle de l’entreprise à apprendre sur le propre supercalculateur IA de Midjourney, un grand système de calcul que l’entreprise construit depuis environ neuf mois.
• Il possède beaucoup plus de connaissances, par exemple sur les créatures et les lieux.
• Il réussit plus souvent les petits détails.
• Il peut traiter des prompts plus complexes, et des scènes comportant plusieurs objets ou personnages.

Holz a présenté V4 comme une première étape plutôt que comme le mot de la fin. Il a aussi dit que, puisque les images sont maintenant beaucoup plus réalistes, les règles de la communauté seront appliquées beaucoup plus strictement : les personnes qui tentent délibérément de contourner la liste des mots interdits risquent d’être bannies plus rapidement.

Comment fonctionne Midjourney, et où se situe V4

Midjourney fonctionne à l’intérieur de Discord, une application de clavardage. Vous tapez la commande /imagine suivie d’une description, le robot crée une grille de quatre images, et vous pouvez agrandir celles qui vous plaisent ou en faire des variantes. Les réglages supplémentaires se placent à la fin du prompt sous forme de paramètres qui commencent par deux tirets. Par exemple, --ar 3:2 fixe un format d’image plus large et --no grass demande au modèle de ne pas mettre d’herbe.

Jusqu’à hier, la documentation de Midjourney indiquait V3 comme modèle par défaut, en usage depuis le 25 juillet 2022, V2 restant offert à ceux qui préféraient le style d’origine. La documentation montre qu’on choisit un modèle avec un paramètre de version ou avec un bouton dans le menu /settings. Voici comment les générations se comparent, d’après l’annonce de Holz et la documentation antérieure :

Une façon d’imaginer le changement : si V3 est un illustrateur talentueux qui dispose d’une bibliothèque de référence limitée, V4 se veut un illustrateur qui a étudié bien plus de choses du monde et qui porte une attention plus grande à chaque élément de la commande.

Limites actuelles

Comme il s’agit d’une alpha, il y a des lacunes évidentes. La principale est que V4 ne crée pour l’instant que des images carrées. La liste des travaux à venir de Midjourney comprend une résolution et une qualité d’image plus élevées, plus de contrôle sur l’agrandissement, des images plus nettes, et des correctifs pour les marques parasites qui ressemblent à du texte et les sujets mal cadrés.

Holz a aussi prévenu que V4 exige une autre façon d’écrire les prompts. Des habitudes qui fonctionnaient bien avec V3 pourraient ne pas se transposer.

Pourquoi c’est important

V4 arrive dans une année chargée pour les générateurs d’images. Midjourney n’a ouvert sa bêta publique que le 12 juillet, et depuis, des outils concurrents n’ont cessé d’élever les attentes quant à ce que quelques mots de texte peuvent produire.

L’enjeu principal est le réalisme. Un modèle capable de produire des scènes convaincantes et détaillées est plus utile pour l’illustration, l’art conceptuel et le design, mais il facilite aussi la création d’images trompeuses; c’est pourquoi Midjourney resserre l’application de ses règles au moment même où elle améliore la qualité. Et en entraînant un modèle à la nouvelle architecture sur sa propre grappe de calcul, le petit laboratoire montre qu’il investit pour bâtir ses propres modèles de A à Z.

Comment modifier vos prompts pour V4?

Le principal conseil de Holz est que V4 demande un nouveau style de prompt, et les premiers utilisateurs cherchent encore ce que cela veut dire. Comme le modèle comprend davantage et gère mieux les scènes complexes, un bon point de départ consiste à décrire ce que vous voulez simplement et complètement : le sujet, ce qu’il fait, le décor, l’éclairage et le style. Les longues suites de mots-clés de style ajoutées pour amener V3 à produire une belle image pourraient maintenant être inutiles, ou pousser l’image dans une direction que vous ne vouliez pas.

Voici un prompt écrit de cette façon :

/imagine prompt: an old fisherman mending a red net on a wooden dock at sunrise, gulls overhead, soft mist on the water, detailed photograph

Puisque V4 ne fait pour l’instant que des images carrées, laissez tomber --ar et prévoyez vos compositions pour un cadre carré. Utilisez la fonction remix, qui fonctionne déjà avec V4, pour ajuster une image prometteuse au lieu de repartir de zéro. Surtout, ne changez qu’une chose à la fois d’un essai à l’autre, afin de voir ce que chaque mot fait vraiment. Comme il s’agit d’une alpha avec une longue liste de travaux à venir, des prompts qui fonctionnent aujourd’hui pourraient se comporter autrement à mesure que le modèle s’améliore.