Que peut faire la recherche sur la génération de vidéo à partir de texte, comme Make-A-Video et Imagen Video?

En moins de deux semaines, deux des plus grands laboratoires d’IA ont montré que le tour de passe-passe du texte à l’image fonctionne maintenant pour les images en mouvement. Le 29 septembre, Meta a annoncé Make-A-Video. Le 5 octobre, des chercheurs de Google ont publié Imagen Video. Tapez une phrase comme « un cerf-volant rouge qui s’élève au-dessus d’un champ enneigé », et le système produit un court clip dans lequel la scène bouge vraiment.

La génération de vidéo à partir de texte (text-to-video) consiste simplement à générer une vidéo à partir d’une description écrite, comme DALL·E 2, Imagen ou Stable Diffusion génèrent une image fixe. Les clips sont courts, muets et souvent un peu oniriques, mais ils montrent quelque chose de nouveau : un modèle qui a une certaine idée de la façon dont les choses bougent, et pas seulement de leur apparence.

Deux chemins différents vers le même but

Les deux projets partent du même problème. Il existe des milliards d’images accompagnées de légendes sur le Web, mais beaucoup moins de vidéos accompagnées de bonnes descriptions textuelles. Chaque équipe contourne ce manque à sa façon.

Make-A-Video (Meta) sépare l’apprentissage en deux. À partir de paires image-légende, le modèle apprend à quoi ressemble le monde et comment s’appellent les choses. À partir de clips vidéo ordinaires, sans aucune légende, il apprend comment le monde bouge. Le titre de l’article le souligne : aucune vidéo légendée n’est nécessaire. Le système crée d’abord 16 minuscules images de 64 pixels sur 64, puis intercale des images supplémentaires pour un mouvement plus fluide, puis agrandit l’image en deux étapes, jusqu’à 768 pixels sur 768.

Imagen Video (Google) prolonge dans le temps le modèle d’images Imagen de Google. C’est une cascade, une chaîne de sept modèles de diffusion distincts. Un modèle de diffusion crée une image en partant d’un bruit aléatoire qu’il retire étape par étape jusqu’à ce qu’une image corresponde au prompt. Dans Imagen Video, un modèle de base crée un petit clip court à faible fréquence d’images; les modèles suivants ajoutent chacun du détail dans l’espace (plus de pixels) ou dans le temps (plus d’images). Le résultat final compte 128 images de 1280 pixels sur 768, à 24 images par seconde, soit environ 5,3 secondes. Google l’a entraîné sur une collection interne de paires vidéo-texte et image-texte, en plus du jeu de données d’images public LAION-400M.

Ce que montrent les démos

Voici comment les deux se comparent sur les points que rapportent les articles :

Les deux systèmes héritent d’une force des modèles d’images : le style. Demandez à Imagen Video une scène dans le style de van Gogh ou à l’aquarelle, et le mouvement suit cette esthétique. Les exemples de Google comprennent aussi des mots animés lisibles, une force héritée de l’habileté d’Imagen à écrire du texte correctement. Meta met en avant la souplesse : donnez une seule photo à Make-A-Video et il peut l’animer, ou donnez-lui un clip et il peut en créer de nouvelles versions qui lui ressemblent.

Les limites que nomment les chercheurs

Les articles sont prudents sur ce qui ne fonctionne pas encore :

• La durée. Ce sont des clips de quelques secondes. Meta mentionne les vidéos plus longues, à plusieurs scènes et racontant de vraies histoires, comme des travaux futurs.
• Le mouvement que seule la vidéo peut expliquer. Meta souligne que sa méthode ne peut pas apprendre le texte qui décrit des choses qu’on ne voit qu’en mouvement, comme le fait qu’une personne salue de la main de gauche à droite ou de droite à gauche.
• La cohérence. Google indique que ses objets 3D en rotation ne gardent leur forme qu’approximativement.
• Les biais et les abus. Les deux équipes affirment que les modèles entraînés sur des données du Web absorbent des biais sociaux. Google prévient que la génération de vidéo pourrait servir à créer du contenu faux, haineux ou explicite, et dit que le filtrage ne peut pas encore attraper chaque stéréotype.

Une façon concrète de lire un clip de démo consiste donc à poser quatre questions : quelle est sa durée? Est-ce que quelque chose bouge dans une direction précise demandée par le prompt? Les objets gardent-ils leur forme du début à la fin? Et le même prompt fonctionnerait-il sur une personne, un lieu ou une marque, là où les erreurs et les abus comptent davantage?

À quelle distance est-on d’un outil utilisable?

Pour l’instant, encore à une certaine distance. Meta affirme qu’elle partage la recherche et prévoit de publier une démo, mais il n’existe aucun outil public à essayer. Google est plus catégorique : son article indique que l’équipe a décidé de ne pas publier Imagen Video ni son code tant que les préoccupations de sécurité n’auront pas été réduites. Les deux modèles sont aussi volumineux. La cascade d’Imagen Video compte 11,6 milliards de paramètres, et même avec une technique d’accélération appelée distillation progressive, qui rend l’échantillonnage environ 18 fois plus rapide selon l’équipe, on est loin du genre de modèle qu’on fait tourner sur un ordinateur à la maison.

Il existe au moins un modèle de génération de vidéo à partir de texte publié ouvertement : CogVideo, un système de recherche antérieur que l’article de Meta décrit comme le seul modèle public de ce genre et qu’il utilise comme point de comparaison. Ses résultats sont de moins bonne qualité que les nouvelles démos. Pour le travail pratique, les créateurs tirent aujourd’hui davantage des outils d’images fixes. Stable Diffusion tourne sur une carte graphique domestique, et DALL·E 2 est ouvert à tout le monde; vous pouvez donc générer des scénarimages, des arrière-plans et des images de style, puis les monter en mouvement avec un logiciel vidéo ordinaire.

Le rythme de la dernière année laisse croire que des outils publics pourraient arriver, mais aucune des deux entreprises n’a donné de date. Pour un créateur, le choix sensé est d’apprendre dès maintenant à rédiger des prompts pour des images fixes : savoir décrire le sujet, le style, l’éclairage et l’angle de caméra se transpose directement à la vidéo dès que ces systèmes s’ouvriront.