L’IA peut-elle faire des vidéos et de la musique aujourd’hui?

Il y a un an, la vidéo produite à partir d’un prompt texte était un sujet d’articles de recherche publiés par de grands laboratoires. Cet été, tout le monde peut l’essayer. Au début de juin, la jeune pousse en IA Runway a ouvert Gen-2 au public après une période de liste d’attente, et TechCrunch l’a décrit comme l’un des premiers modèles texte-vidéo auxquels on peut réellement acheter un accès. Le 2 août, Meta a lancé AudioCraft, un ensemble de modèles qui composent de la musique et des effets sonores à partir d’une courte description, avec un code ouvert que tout le monde peut étudier.

La réponse honnête est donc oui, avec des limites. Les outils d’aujourd’hui font de courts clips et de courts morceaux de musique. Ils conviennent aux esquisses, aux ambiances, aux publications sur les réseaux sociaux et aux scénarimages. Ils ne sont pas encore bons pour les longues scènes, les personnages constants d’un plan à l’autre ou une chanson dont les couplets et le refrain tiennent ensemble.

La vidéo : ce que Gen-2 peut faire et ne peut pas faire

Gen-2 est un modèle de diffusion : il part d’un bruit visuel aléatoire et le retire étape par étape jusqu’à ce que les images correspondent à votre prompt. Vous pouvez partir d’un texte seul ou d’une image que vous téléversez. Selon l’article de recherche de Runway, ses données d’entraînement comprenaient 6,4 millions de clips vidéo et 240 millions d’images fixes.

Dans l’essai pratique de TechCrunch, chaque clip durait quatre secondes, et la fréquence d’images était assez basse pour donner parfois l’impression d’un diaporama. Le journaliste a aussi vu des images granuleuses, des bras et des objets qui se fondaient les uns dans les autres, et des prompts où un mouvement de caméra demandé, comme un zoom lent, ne se produisait tout simplement pas. Des styles comme l’anime et l’animation en pâte à modeler cachaient le mieux ces défauts, parce qu’ils ont déjà l’air un peu saccadés. Runway filtre les prompts au moyen d’une modération à la fois automatisée et humaine pour bloquer les contenus violents, pornographiques ou qui violent le droit d’auteur.

La musique et le son : AudioCraft

AudioCraft comporte trois parties. MusicGen compose de la musique à partir d’un texte, AudioGen produit des effets sonores comme un chien qui jappe ou des pas sur un plancher de bois, et EnCodec compresse l’audio en petits morceaux, appelés jetons, que les modèles peuvent manipuler, un peu comme les morceaux de mots que lit un modèle de langage. Meta indique que MusicGen a appris à partir d’environ 20 000 heures de musique dont Meta est propriétaire ou pour laquelle elle a obtenu une licence à cette fin, et note que la collection penche vers les styles occidentaux. Les modèles sont publiés pour la recherche, avec un code sous la licence ouverte MIT; la plupart des gens les découvriront donc par des démos ou des applications que d’autres développeurs construiront par-dessus.

Un exemple complet : un clip de 12 secondes pour un café

Imaginez un petit café qui veut une courte vidéo en boucle pour sa page sur les réseaux sociaux, avec de la musique en fond. Voici une façon de faire adaptée aux outils d’aujourd’hui.

1. Planifier les plans dans ChatGPT. Demandez trois plans de quatre secondes, chacun décrit en une phrase avec le sujet, le décor, l’éclairage et le style. Gardez exactement le même style pour les trois afin que les clips s’accordent.
2. Générer chaque plan dans Gen-2. Par exemple :

Close-up of steam rising from a cup of coffee on a wooden table, morning light from a window, soft focus background, warm colors, claymation style

Faites quelques versions de chaque plan et gardez la meilleure. Attendez-vous à en jeter la plupart.

1. Générer la musique. Décrivez l’ambiance, les instruments et le tempo plutôt que de nommer un artiste :

Calm acoustic guitar and soft brushed drums, slow tempo, warm and relaxed, suitable for a morning café

1. Monter le tout. Dans n’importe quel logiciel de montage vidéo, coupez les trois clips, ajoutez un simple fondu entre eux, placez la musique en dessous et ajoutez le nom de votre café en texte. Le texte à l’intérieur des images générées est généralement illisible; ajoutez donc les mots vous-même.
2. Vérifier avant de publier. Surveillez les mains fondues, les objets bizarres et tout ce qui ressemble à une vraie marque ou à une vraie personne.

Pourquoi les résultats semblent encore bruts

La vidéo est plus difficile que l’image, parce que chaque image doit concorder avec celles qui l’entourent. La musique est difficile pour une raison semblable : Meta souligne que quelques minutes de musique enregistrée en qualité standard contiennent des millions de points d’échantillonnage, et le modèle doit garder cohérents de longs motifs, comme le retour d’une mélodie, sur l’ensemble de ces points. C’est pourquoi les meilleurs résultats actuels sont courts. Pour l’instant, la compétence utile est la même qu’avec les générateurs d’images : décrire avec précision le sujet, le décor, l’éclairage et le style, générer plusieurs versions et traiter le résultat comme du matériel pour votre propre montage.

Quels sont les risques liés au droit d’auteur?

Il y a deux questions distinctes : pouvez-vous être propriétaire de ce que l’IA produit, et ce qu’elle produit emprunte-t-il trop à quelqu’un d’autre?

Sur la propriété, un tribunal fédéral américain a donné une réponse claire le 18 août. Dans l’affaire Thaler v. Perlmutter, la juge Beryl Howell a confirmé le refus du Copyright Office d’enregistrer une image que son propriétaire disait avoir été créée entièrement par un système informatique, de lui-même. La juge a écrit que « la création humaine est une exigence fondamentale du droit d’auteur ». La décision vise les œuvres créées sans aucune intervention humaine; la juge a aussi relevé les questions plus difficiles à venir, par exemple la part d’apport humain qui fait de quelqu’un l’auteur d’une œuvre assistée par l’IA. En attendant que ces questions soient tranchées, vos propres retouches, votre sélection et votre agencement sont les parties qui peuvent le plus clairement être revendiquées comme les vôtres.

Sur l’emprunt, le risque se trouve surtout dans les données d’entraînement et dans votre prompt. Meta affirme avoir construit MusicGen avec de la musique dont elle est propriétaire ou pour laquelle elle détient une licence; d’autres outils ne disent pas toujours à partir de quoi ils ont appris. Les bonnes habitudes sont simples : ne demandez jamais la chanson d’un artiste nommé ou un personnage célèbre, gardez une trace de vos prompts et de vos retouches, lisez les conditions d’utilisation de chaque outil avant tout usage commercial et consultez un avocat avant de bâtir une entreprise sur des médias générés.