# Quels outils texte-vidéo pouvez-vous vraiment utiliser aujourd’hui?

Date: 2024-03-04 · Author: Robert Scales · https://guidetoartificialintelligence.com/fr/apprendre/outils-texte-video-offerts-aujourd-hui/

**Answer:** Les deux outils texte-vidéo auxquels la plupart des gens peuvent s’inscrire dès maintenant sont Gen-2, de Runway, et Pika, qui transforment tous deux une description écrite ou une image fixe en un clip de quelques secondes. Sora, d’OpenAI, présenté en février, est encore réservé à des testeurs en sécurité et à un petit groupe d’artistes : vous ne pouvez donc pas encore l’essayer.

Depuis qu’OpenAI a montré ses démonstrations de Sora à la mi-février, bien des gens ont demandé où ils pouvaient faire une vidéo comme celles-là. La réponse honnête, c’est que vous ne le pouvez pas, pour l’instant. OpenAI a confié Sora à des membres d’équipes rouges, des spécialistes qui cherchent comment un système peut causer du tort, et à un petit groupe d’artistes, de designers et de cinéastes dont elle veut les commentaires. Il n’y a pas d’inscription publique.

Ce que vous pouvez utiliser aujourd’hui, c’est une génération d’outils plus modeste et plus brute. Les deux plus connus sont Gen-2, de Runway, et Pika. Les deux produisent de courts clips, les deux sont ouverts aux inscriptions, et les deux récompensent un prompt soigneusement écrit plus qu’un long prompt.

## Runway Gen-2 : la première option largement accessible

Le modèle Gen-2 de Runway s’est ouvert au public en juin dernier après une liste d’attente, ce qui en a fait l’un des premiers modèles texte-vidéo que tout le monde pouvait payer. Vous tapez une description, ou vous téléversez une image à animer, et Gen-2 vous renvoie un clip.

Quand TechCrunch l’a testé à son lancement, les clips duraient quatre secondes, avec une fréquence d’images visiblement faible (le nombre d’images fixes montrées par seconde, qui rend le mouvement fluide). Le journaliste a aussi vu des images granuleuses, des corps et des objets qui se déformaient en bougeant, et des directives de caméra comme « slow zoom » (zoom lent) qui étaient ignorées. Les styles déjà stylisés, comme l’anime ou l’animation en pâte à modeler, cachaient le mieux ces défauts. Runway a ajouté des fonctions depuis : considérez donc ces premières limites comme un guide de ce qui est difficile pour ces modèles plutôt que comme une description exacte de la version actuelle.

Sous le capot, Gen-2 est un modèle de diffusion : il part d’un bruit visuel aléatoire et le retire étape par étape jusqu’à ce que des images correspondant à votre texte apparaissent. Sora utilise la même idée de base à une échelle bien plus grande.

## Pika : un concurrent plus récent

Pika a commencé comme une version bêta sur Discord, l’application de messagerie. Le 28 novembre, l’entreprise a lancé Pika 1.0, un site Web pour ordinateur et mobile qui génère et modifie de la vidéo à partir de texte dans des styles comme l’animation 3D, l’anime et le « cinématographique ». Elle disait que plus d’un demi-million de personnes l’utilisaient déjà, et elle a ouvert l’accès graduellement à partir d’une liste d’attente.

L’argument de Pika, c’est la retouche autant que la génération. L’entreprise décrit la transformation d’images ou de vidéos existantes en nouveaux clips, l’élargissement du cadre vers un autre format d’image (la forme de l’image, comme `16:9` pour l’écran large ou `9:16` pour la vidéo sur téléphone), la modification d’un objet dans un clip et la prolongation d’une vidéo.

## Comment les options se comparent

| | Runway Gen-2 | Pika 1.0 | Sora |
|---|---|---|---|
| Pouvez-vous l’utiliser aujourd’hui? | Oui, inscription publique | Oui, par le site Web ou Discord, avec un accès graduel | Non, seulement des testeurs et des artistes choisis |
| Part de | Texte ou une image | Texte, une image ou une vidéo | Texte, une image ou une vidéo (selon OpenAI) |
| Clip typique | Quelques secondes | Quelques secondes | Jusqu’à une minute (selon OpenAI) |
| Idéal pour | De courts plans stylisés | De courts plans, plus des retouches à des clips existants | Impossible à essayer |

Même OpenAI énumère des faiblesses de Sora : il peut avoir du mal avec la physique, avec les causes et les effets (un biscuit dans lequel on a croqué qui ne montre aucune trace de morsure) et avec la distinction entre la gauche et la droite. Attendez-vous aux mêmes problèmes, plus souvent, avec les outils que vous pouvez utiliser maintenant.

> **À essayer :** choisissez un outil, écrivez le prompt en cinq parties de la section suivante et générez-le trois fois sans rien changer. Comparez les trois clips et notez ce qui est resté pareil et ce qui a changé. Cela vous indique quelles parties de votre prompt le modèle suit réellement.

## Comment écrire un prompt pour un court clip vidéo?

Écrivez pour un seul plan, pas pour une histoire. Quatre ou cinq secondes, c’est environ la durée d’un seul plan de caméra dans un film : décrivez donc un seul sujet qui fait une seule chose simple, à un seul endroit. Un ordre utile : le sujet, l’action, le décor, la caméra et le style. Voici un exemple complet pour un clip de cinq secondes, écrit en anglais, la langue de ces outils (un canot rouge glisse lentement sur un lac calme au lever du soleil, de la brume monte de l’eau, une forêt de pins sur la rive opposée; plan large fixe depuis la rive, caméra au ras de l’eau; lumière dorée douce, réaliste, légères ondulations) :

```prompt
A red canoe glides slowly across a calm lake at sunrise,
mist rising from the water, pine forest on the far shore.
Static wide shot from the shore, camera at water level.
Soft golden light, realistic, gentle ripples.
```

Remarquez ce qu’il laisse de côté. Il n’y a personne qui pagaie, parce que les mains et les visages sont l’endroit où ces modèles se trompent le plus souvent. Il n’y a qu’un seul mouvement, le canot qui glisse, et la caméra reste immobile, puisque les directives de caméra sont parmi les consignes que ces outils suivent le moins fidèlement. « Calm », « slowly » et « gentle » demandent peu de mouvement, ce qui cache les déformations.

Changez ensuite une seule chose à la fois. Si le canot dérive dans la mauvaise direction, ajoutez « moving from left to right » (de gauche à droite). Si l’eau a l’air de plastique, essayez un mot de style comme « 35mm film » (pellicule 35 mm) ou « watercolor » (aquarelle). Si vous voulez une scène plus longue, générez plusieurs plans courts avec les mêmes mots de style et assemblez-les dans n’importe quel logiciel de montage vidéo, la façon habituelle de bâtir quoi que ce soit de plus long que quelques secondes avec les outils d’aujourd’hui.

## Sources

- Runway's Gen-2 shows the limitations of today's text-to-video tech: https://techcrunch.com/2023/06/09/runways-gen-2-shows-the-limitations-of-todays-text-to-video-tech/
- Pika Labs raises $55M, launches new AI video platform to take on Runway: https://web.archive.org/web/20231222161430/https://venturebeat.com/ai/pika-labs-raises-55m-launches-new-ai-video-platform-to-take-on-runway/
- Sora: https://openai.com/sora