IA & Créativité : une nouvelle révolution dans le cinéma et la production vidéo

IA & Créativité : une nouvelle révolution dans le cinéma et la production vidéo 

par Chiara Sottocorona, Experte IA & Medias

La première journée du MIPCOM 2024, le plus important marché international des contenus télévisuels, du 21 au 24 octobre au Palais des Festivals de Cannes, a consacré une session à l'Applied AI Summit. Emily Golden de Runway, une start-up qui propose l'IA générative pour la vidéo, et Johann Choron, responsable de la GenAI for Media chez Google, ont débattu l'avenir des médias lors de la conférence « Generative AI's transformation of content », la transformation du contenu par l'IA générative. Philip Shane, primé au Film festival de Sundance, a donné aussi une leçon sur l'utilisation des générateurs de texte, tels que Chat-GPT et Claude, pour l'écriture de documentaires, de Dall-E et Midjourney pour la création d’images, de Ltx-Studio et RunwayML pour accélérer la production des vidéos avec des séquences générées par l’IA. 

Également consacré à l'impact de l'intelligence artificielle sur la création de programmes télévisés, l’AI Creative Summit a réuni, le 6 novembre à Londres, des professionnels de la BBC, de Channel4, de SpotLight Media et de nombreux producteurs. La BBC utilise l'IA dans les émissions « WinterWatch » et « SpringWatch » pour embellir les effets des documentaires sur la nature. Reuters crée automatiquement des résumés de présentation de vidéos sportives avec Synthesia. Le LibDub Lab utilise l'IA pour modifier les expressions faciales des acteurs en les adaptant au doublage de différentes langues. Rai, la radio-télévision italienne, a démarré aussi des expérimentations. Rai Cinéma, qui a participé en octobre à la Digital Week de Milan, a présenté deux courts-métrages réalisés avec des algorithmes génératifs lors de la finale de l'AI Motion Festival : « Re-Imagine Cabiria » (disponible sur la plateforme streaming de Rai Cinéma, également en VR) et « Cassandra » (sur la plateforme RayPlay). 

« Pour Cabiria, nous sommes partis de la version cinématographique du premier colossal de 1914, pour arriver à une expérience numérique à 360 degrés, immersive aussi », explique Carlo Rodomonti, responsable de la stratégie et du marketing numérique chez Rai Cinéma, professeur de médias et président de l'Union des éditeurs et créateurs numériques chez l'Anica (fédération italienne des auteurs du Cinéma). 

Cassandra, un court-métrage finaliste au Prix Europa, produit en collaboration avec le TransMedia Lab de l'université de Rome La Sapienza et la Holden School, est un exemple de collaboration créative entre l'intelligence humaine et l'intelligence artificielle. L'histoire elle-même est au cœur de ce thème, entre fascination et peur : les deux protagonistes sont aux prises avec Cassandra, une application d'intelligence artificielle prédictive qui influencera leur comportement. Pendant la phase d'écriture, les auteurs ont fabriqué un chat-bot utilisé par les protagonistes et l'ont interrogé, obtenant ainsi des idées pour le scénario. Les réflexions de Cassandra ont été inspirées par un dialogue entre les auteurs et une autre application d'intelligence artificielle, Google Bard. Le court métrage a été tourné en partie en faisant jouer les acteurs en chair et en os, et en partie en utilisant Runway, un outil d'intelligence artificielle générative, qui a créé certaines scènes pour représenter « les pensées » de Cassandra. Et le personnage de Cassandra lui-même a été généré par l'intelligence artificielle grâce à la combinaison entre Midjourney et HeyGen pour l’animation. 

« L'intelligence artificielle libère l'imagination et permet la visualisation des idées - explique Rodomonti - Elle offre un nouvel environnement de travail, à commencer par l'écriture. La génération de vidéos à partir de demandes textuelles signifie qu'il n'y a plus de limites dans les scènes, car on peut obtenir toutes sortes d'effets spéciaux, d'environnements ou de personnages, sans les coûts qui existaient auparavant ». 

Quels sont les avantages démontrés par l'expérimentation ? 

« L'intelligence artificielle peut être configurée comme un facilitateur et un optimiseur du travail artistique, comme un outil pour libérer la créativité à faible coût, pour améliorer notre planification, tout en maintenant la valeur irremplaçable de la créativité humaine » explique Paolo Del Brocco, le PDG de Rai Cinéma. « Le cinéma travaille sur des histoires originales, alors que l'IA n'a ni empathie ni d'imagination, elle n’est capable que de répliquer, de reformuler, pas de créer. Nous essayons de comprendre, d’utiliser le potentiel de ces nouvelles applications, nous devons considérer l'innovation et l'efficacité qu'elles offrent, mais surtout préserver la valeur ajoutée de nos artisans créateurs. Il s'agit de trouver un nouvel équilibre ». 

Pendant ce temps, une nouvelle vague technologique déferle sur le web avec des millions de vidéos produites grâce aux outils génératifs de l'Ia (voir infographie en bas). Déjà 79 % des youtubers utilisent des outils génératifs d'IA, selon une étude menée par Google au Royaume-Uni le mois dernier sur 300 créatifs âgés entre 18 et 50 ans. Des nouvelles start-up offrent ces outils, pendant que les grands de la Tech prennent le temps de perfectionner leurs modèles. Sora, le premier générateur de vidéos d'OpenAI, annoncé en février 2024 avec la promesse de révolutionner la création de vidéos, n'est pas encore accessible au public. 

__________________________________________________________________________________ 

OpenAI @OpenAI 

Introducing Sora, our text-to-video model. Sora can create videos of up to 60 seconds featuring highly detailed scenes, complex camera motion, and multiple characters with vibrant emotions. https://openai.com/sora Prompt: “Beautiful, snowy Tokyo city is bustling. The camera moves through the bustling city street, following several people enjoying the beautiful snowy weather and shopping at nearby stalls. Gorgeous sakura petals are flying through the wind along with snowflakes.” 

7:14 PM · 15 févr. 2024 

__________________________________________________________________________________ 

Il en va de même pour Veo, le text-to-video de Google, annoncé en mai, qui n'a pour l'instant été testé que dans l'environnement de recherche. Le dernier arrivé, MovieGen, annoncé au début octobre, nouveau modèle de génération de vidéos de Meta, ne sera non plus accessible au public dans l’immédiat. Basé sur 30 milliards de paramètres, il permet de créer des acteurs virtuels à partir de la photo d'une personne, mais il devra être affiné et testé en collaboration avec des professionnels. Firefly, nouveau outil d’Adobe, permet également de créer des vidéos à partir d’images fixes, donnant une nouvelle vie aux bibliothèques de photos. Par exemple, un simple cliché de fleurs peut être transformé en une vidéo avec le ‘prompt’ : “les fleurs bougent dans le vent et un papillon se pose délicatement sur l’une d’entre elles” .

En attendant, avant d'investir les Studios, l'IA pour la créativité se repend à travers le streaming et les réseaux sociaux : influenceurs, créateurs de clips vidéo et spécialistes du marketing numérique s'y exercent, grâce à l’accès à bas prix ou par abonnement à des outils très performants de text-to-video proposé par les start- up émergentes, tel que RunwayML, Synthesia, D-ID e Invideo. 

Créer avec l'IA : les meilleurs outils de génération de vidéo 

1. RUNWAY ML : Société fondée à New York en 2018 par trois programmeurs chiliens, le PDG est Cristobal Valenzuela. Elle compte aujourd’hui 86 employés, elle est active dans le monde entier. Gen2 et Gen3 Alpha sont les générateurs texte-vidéo proposés, utilisés par des millions de créatifs. L'application est disponible sur mobile aussi pour iOs et Android. Gratuite pour les 4 premières créations vidéo. Pour les équipes et les entreprises des abonnements personnalisés. 
2. SYNTHESIA : Créée par un groupe de chercheurs en IA de Stanford, Cambridge et UCL. Basée à Londres. Le PDG est Victor Riparbelli. Parmi les investisseurs, on trouve également Nvidia. Plateforme de génération de vidéos déjà utilisée par 55 000 entreprises et 200 000 créatifs. Propose également la synthèse vocale et 160 avatars pour s'exprimer dans 130 langues. 36 minutes de vidéo offertes gratuitement. Formule Starter pour 16 euros par mois (120 minutes de vidéo) ou Creator pour 58 euros (avec 360 minutes de vidéo). 
3. D-ID : Start-up israélienne, fondée par Gil Perry, le PDG, avec deux autres chercheurs en IA de l'Université de Tel-Aviv. Parmi les investisseurs figurent Axa Venture et Mindset V. Creative Reality Studio est l'outil qui permet de générer des textes, des images, des vidéos, des voix. Il est déjà utilisé par 250 000 développeurs. Disponible en version mobile à partir de septembre. Le prix : Gratuit les 5 premières minutes de vidéo. 4,7 dollars par mois pour 10 minutes de vidéo avec avatar. 16 dollars par mois pour 15 minutes de vidéo avec voix ou 108 dollars pour des scripts AI et 100 minutes de vidéo. 
4. INVIDEO : Start-up indienne dont les trois fondateurs sont établis à Mumbai et dont le PDG est Sanket Shah. Elle a reçu en total 52,5 millions de dollars de financement, en trois tours de table. Plateforme d'édition et de conversion de texte en vidéo, active dans 190 pays, largement utilisée par les influenceurs, les créateurs de clips vidéo et les professionnels de marketing. Les 10 premières minutes de vidéo sont gratuites. Formule Plus pour 20 dollars par mois (50 minutes de vidéo et 2 voix de synthèse) ou Max pour 48 dollars (200 minutes de vidéo et 5 voix). 

La « GenAI » se répand rapidement chez le broadcaster et les éditeurs aussi : 71 % des entreprises de médias utilisent déjà de plus en plus des solutions d'intelligence artificielle dans la gestion de contenu, soulignant l'importance de cette technologie pour améliorer l'efficacité. Tandis que dans 85 % des cas, l'IA est utilisée pour le développement de nouveaux produits et de nouvelles fonctionnalités. C’est le résultat que renvoie le rapport Ascendant de Minsait (Indra) intitulé «AI: X-ray of an on going revolution », consacré à l'examen du niveau d'adoption de l'intelligence artificielle dans les entreprises et les institutions privées. D'ici 2030, selon une autre étude, de Straits Research, le « Marché mondial de l'IA pour les médias et le divertissement représentera 104,4 milliards de dollars ».