un générateur vidéo avec des capacités et des fonctionnalités impressionnantes

Côté intelligence artificielle, Meta nous avait déjà impressionné lors de Meta Connect 2024 avec la présentation de Llama 3.2, son grand modèle de langage désormais capable d’utiliser et de générer des images. Ce vendredi 4 octobre, la société américaine a récidivé en dévoilant son dernier-né, Movie Gen.

Cet outil peut générer des vidéos d’une durée maximale de 16 secondes, en 1080p et à 16 images par seconde, à partir de commandes texte avec ou sans images existantes. Par exemple, vous pouvez fournir une photo de votre visage et demander à l’IA de générer une vidéo de vous effectuant des expériences de chimie.

Movie Gen ne se contente pas de cela. Il s’agit de la première IA de ce type capable de générer de l’audio en plus de la vidéo. Cette fonctionnalité rend l’outil plus complet et permet également de générer des effets sonores et une musique de fond sur une vidéo déjà existante, toujours en utilisant des commandes de texte. Les opérateurs de drones l’apprécieront sans doute, d’autant que les résultats semblent convaincants.

Un outil complet, mais non sans défauts

Il sera également possible d’éditer les vidéos après génération, sur un détail précis ou sur l’ensemble du contenu. Ainsi, toujours en utilisant des invites, nous pouvons demander à Movie Gen de changer l’arrière-plan, la couleur des cheveux et des vêtements d’une personne, ou même de supprimer n’importe quel élément. Bref, le véritable facteur limitant semble être l’imagination de l’utilisateur.

Si ce type d’outil n’est plus vraiment une surprise depuis la présentation de Sora d’OpenAI en février dernier, les résultats de Movie Gen sont assez impressionnants. Qu’il s’agisse de créer une vidéo à partir de zéro ou de modifier des ressources existantes.

Selon Meta, son IA surpasse celle de la concurrence aux yeux des testeurs humains. Et, si les résultats présentés ne sont pas exempts de défauts, force est de constater que les vidéos sont exploitables. Du moins, dans les exemples que Meta nous a présentés. On se doute que l’entreprise a beaucoup de temps pour se former à son outil, et qu’il faudra peut-être enchaîner les invites pour arriver au même niveau.

Dans certains des exemples donnés, on retrouve les défauts classiques de ce type d’outil, comme des pingouins flottant un peu trop bien sur l’eau, ou encore un quad défiant les lois de la physique. De plus, certaines limitations subsistent, comme la génération de parole synchronisée avec le mouvement des lèvres.

Qu’en est-il des données personnelles et des deepfakes ?

Personnellement, si j’ai toujours réussi à trouver ici et là des indices laissant penser qu’il s’agissait de vidéos générées par une IA, d’autres éléments m’ont particulièrement impressionné. En particulier lors de la génération d’une vidéo à partir d’une photo, Movie Gen semble être capable de reconnaître les défauts de vision des personnes portant des lunettes (myopie, etc.), offrant ainsi des effets de distorsion réalistes.

Coïncidence ou pas, c’est ce genre de détail qui peut rendre les vidéos plus crédibles, de quoi créer des deepfakes convaincants. D’autant plus que Movie Gen pourrait être intégré aux services Meta comme Facebook et Instagram, plateformes qui ont déjà des problèmes de désinformation.

Mais nous n’en sommes pas encore là. L’entreprise californienne doit encore trouver comment proposer son outil au grand public, mais aussi le peaufiner et améliorer ses performances. De plus, alors que l’IA est entraînée sur un ensemble de « données sous licence et accessibles au public « , Meta souhaite désormais collaborer avec des créateurs et cinéastes pour développer les futures versions du modèle.

Reste à savoir jusqu’où cela ira, et surtout ce qu’il adviendra de l’utilisation des données des utilisateurs. Comme nos collègues deArs TechnicaMovie Gen pourrait potentiellement avoir été formé avec du contenu provenant d’Instagram ou de Facebook, ce qui pourrait soulever certaines questions.