Adobe VideoGigaGAN pour améliorer la résolution vidéo
- Sophia
- Modifié le
Partager la publication
Le projet d'amélioration par l'IA d'Adobe permet aux vidéos floues d'avoir l'air de haute définition
Adobe Research a dévoilé sa dernière technologie d’intelligence artificielle générative, VideoGigaGAN, un modèle avancé conçu pour améliorer considérablement la qualité des vidéos en augmentant la taille des vidéos floues jusqu’à huit fois leur résolution d’origine. Présenté dans un article sur le serveur arXiv et illustré par plusieurs exemples sur le site web du projet, VideoGigaGAN associe les prouesses des réseaux adverses génératifs (GAN) à des techniques sophistiquées pour obtenir une clarté remarquable des vidéos sans les inconvénients habituels des améliorations de l’intelligence artificielle.
VideoGigaGAN utilise un « module de propagation guidé par le flux » pour maintenir la cohérence entre les images, ce qui permet de relever l’un des principaux défis de l’amélioration vidéo, à savoir le maintien de l’uniformité sans scintillement ni distorsion. Cette approche innovante est renforcée par des mesures d’anti-crénelage et des transferts de caractéristiques à haute fréquence pour gérer les baisses inattendues de la qualité vidéo, évitant ainsi les « bizarreries de l’IA » souvent associées à ce type de technologie, comme des colorations improbables ou des lignes irrégulières.
La technologie GAN au cœur de VideoGigaGAN a été adaptée des précédentes applications d’IA d’Adobe, comme GigaGAN, utilisée pour la génération et l’amélioration des images. Dans VideoGigaGAN, le système d’intelligence artificielle est entraîné à reconnaître et à reproduire des détails fins, tels que les poils des sourcils et les textures de la peau, ce qui rend les vidéos floues non seulement plus nettes, mais aussi plus naturelles à l’œil. La capacité du système à ajouter des détails entièrement artificiels mais réalistes, tels que les pores de la peau et les lignes des yeux, marque une avancée significative dans la technologie de l’édition vidéo.
Malgré les résultats prometteurs démontrés par Adobe, il n’a pas été confirmé si VideoGigaGAN sera mis à la disposition des consommateurs par l’intermédiaire du Creative Cloud d’Adobe ou d’autres plateformes. Ce projet fait suite à l’exploration d’Adobe dans le domaine de l’amélioration des médias par l’intelligence artificielle, notamment l’expérience de suréchantillonnage basée sur la diffusion, le projet Res-Up, présenté en octobre 2023. Les recherches en cours témoignent de l’engagement d’Adobe à jouer un rôle de premier plan dans le domaine de l’intelligence artificielle, où la société continue d’innover aux côtés d’autres géants de la technologie comme Microsoft et Nvidia, qui font également progresser leurs propres technologies de super-résolution vidéo.
Ce modèle d’IA fait non seulement preuve d’innovation technologique en repoussant les limites de l’IA dans la génération de vidéos, mais il s’aligne aussi stratégiquement sur les objectifs de la Chine visant à maintenir un équilibre entre les intérêts nationaux et l’identité culturelle. Avec ses capacités avancées de séquençage vidéo dynamique, Vidu représente une nouvelle norme dans les médias générés par l’IA, soulignant l’innovation dans le secteur de l’IA en Chine.
L’introduction de Vidu est considérée comme un défi direct à Sora, mettant en évidence sa capacité à créer des vidéos haute définition. Il marque l’entrée de la Chine dans le paysage concurrentiel de l’IA mondiale.