Qu’est-ce que Sora, le modèle texte-vidéo d’OpenAI, et comment fonctionne-t-il?

Hier, le 15 février 2024, OpenAI a montré au monde Sora, un modèle qui crée de la vidéo à partir de texte. Vous tapez une description, par exemple une femme en robe rouge qui marche la nuit dans une rue de Tokyo luisante de pluie, éclairée par des enseignes au néon, et Sora produit un clip vidéo de cette scène, d’au plus une minute. OpenAI a publié de nombreuses vidéos d’exemple et affirme qu’elles ont été générées directement par Sora, sans montage.

Les vidéos ont circulé rapidement en ligne en raison de leurs détails : des reflets sur la chaussée mouillée, des foules qui bougent à l’arrière-plan, des mouvements de caméra qui semblent planifiés. Ce sont aussi un aperçu, pas un produit. Personne en dehors d’un petit groupe de test ne peut encore utiliser Sora.

Ce qu’OpenAI a annoncé, et qui peut l’utiliser

OpenAI qualifie Sora de modèle texte-vidéo. Voici l’annonce en bref :

Les membres d’équipes rouges (red teamers) sont des experts externes qui attaquent un système exprès. Dans ce cas-ci, OpenAI dit qu’ils travaillent dans des domaines comme la désinformation, le contenu haineux et les biais, et qu’ils essaieront de faire produire du contenu nuisible à Sora pour que les problèmes soient trouvés avant toute diffusion publique. Les artistes et les cinéastes sont là pour dire à OpenAI comment le modèle pourrait devenir utile au travail de création.

OpenAI dit partager cette recherche tôt pour obtenir des commentaires de l’extérieur et pour montrer au public ce que l’IA pourrait bientôt être capable de faire. Axios rapporte qu’un porte-parole d’OpenAI a déclaré que l’entreprise ne prévoit pas d’ouvrir largement Sora dans un avenir rapproché.

Comment Sora fonctionne, en termes simples

Sora combine deux idées que vous connaissez peut-être déjà grâce aux générateurs d’images et aux robots conversationnels.

1. La diffusion. Sora est un modèle de diffusion. Il part d’une vidéo qui ressemble à de la pure friture, la « neige » d’un téléviseur mal syntonisé, et retire ce bruit petit à petit, sur de nombreuses étapes, jusqu’à ce qu’une scène nette apparaisse. Pendant l’entraînement, le modèle a appris quels retraits transforment le bruit en images réalistes qui correspondent à une description. Une image utile : celle d’un sculpteur qui travaille à partir d’un bloc brut, chaque passage enlevant ce qui n’a pas sa place.

2. Les transformeurs et les parcelles. Comme les modèles GPT derrière ChatGPT, Sora utilise un transformeur, le type de réseau de neurones qui excelle à mettre en relation de nombreux éléments d’information. GPT découpe le texte en jetons, de petits morceaux de mots. Sora découpe les vidéos et les images en parcelles (patches), de petits morceaux d’image dans l’espace et dans le temps. Comme chaque vidéo devient le même type de parcelles, OpenAI a pu entraîner Sora sur des clips de durées, de résolutions et de formats différents, de l’écran large au vertical.

Deux autres choix de conception ressortent. D’abord, Sora crée tout le clip d’un coup plutôt qu’image par image, et il peut voir de nombreuses images à l’avance. Cela aide à résoudre un problème classique : une personne qui passe derrière un arbre doit ressortir de l’autre côté avec la même apparence. Ensuite, il emprunte à DALL·E 3 une astuce appelée réannotation (recaptioning) : les vidéos d’entraînement ont reçu de longues descriptions détaillées, ce qui aide le modèle à suivre vos mots plus fidèlement.

Ce qu’il rate encore

OpenAI parle ouvertement des faiblesses de Sora, et sa page d’exemples montre des échecs à côté des réussites :

• La physique. Il peut mal modéliser les causes et les effets : quelqu’un croque dans un biscuit, et le biscuit reste entier.
• L’espace. Il peut confondre la gauche et la droite.
• Le temps. Il a du mal avec les séquences précises, comme une trajectoire de caméra déterminée.
• Les objets. Dans un exemple, une chaise plie comme du caoutchouc; dans d’autres, des animaux ou des personnes apparaissent de nulle part dans des scènes bondées.

Plans de sécurité et réactions

Avant que Sora apparaisse dans un produit d’OpenAI, l’entreprise énumère plusieurs étapes : les tests par des équipes rouges, un classificateur de détection destiné à reconnaître les vidéos faites par Sora, et le projet d’ajouter des métadonnées C2PA, une étiquette standard de l’industrie qui indique d’où vient un média, si elle lance le modèle. Elle réutilisera aussi les filtres conçus pour DALL·E 3 : l’un qui rejette les prompts demandant de la violence extrême, du contenu sexuel, des images haineuses, l’apparence de célébrités ou la propriété intellectuelle d’autrui, et des classificateurs d’images qui vérifient chaque image avant qu’une vidéo soit montrée.

Les réactions ont été partagées. Axios décrit des réponses allant de l’enthousiasme et de l’émerveillement à la peur et au dégoût, dont celles de cinéastes qui reprochent à ces systèmes d’apprendre à partir du travail des artistes sans permission. D’autres entreprises, dont Meta, Google et Runway, ont présenté ou lancé leurs propres systèmes texte-vidéo : Sora arrive donc dans un domaine qui évolue déjà rapidement.

Comment vous préparer à utiliser des outils texte-vidéo comme Sora?

Commencez par vous exercer aux prompts descriptifs. Les modèles vidéo réagissent aux mêmes éléments dont discute une équipe de tournage : qui ou quoi se trouve dans le plan, où ça se passe, le moment de la journée et l’éclairage, comment la caméra bouge et combien de temps dure le moment. Les écrire clairement est une compétence que vous pouvez développer dès maintenant avec les générateurs d’images.

Ensuite, apprenez à regarder la vidéo générée par l’IA d’un œil critique. Cherchez les faiblesses qu’énumère OpenAI : des objets qui changent de forme, des personnes qui apparaissent de nulle part, des actions sans conséquence. Ces signes vous aideront à juger les clips que vous voyez en ligne, et les étiquettes C2PA dont parle OpenAI pourront aussi aider, une fois qu’elles seront en usage.

Enfin, réfléchissez aux situations où la vidéo vous aiderait vraiment, comme une courte vidéo explicative pour un cours ou une maquette pour un projet, et à celles où elle soulèverait des questions de consentement ou d’honnêteté. Quand des outils comme Sora s’ouvriront au public, vous serez prêt à bien les utiliser.