Technologies de capture volumétrique pour les narrations interactives

Publié le 18/10/2022

Le monde de l’animation, à savoir l’art consistant à faire visuellement bouger des objets inanimés, a fait des pas de géant depuis les premiers films d’animation produits il y a plus de 100 ans. Aujourd’hui, les avatars sont devenus omniprésents. Ces représentations numériques de formes humaines réelles ont crevé l’écran dans le domaine des jeux vidéo modernes, et sont aujourd’hui utilisées dans des films ainsi que dans le domaine du divertissement en réalité virtuelle et augmentée.

Dans l'équipe VirtUS, Marc Christie, maître de conférence à l'Université de Rennes 1 coordonne le projet européen INVICTUS*, projet qui vise à créer des avatars pour les jeux vidéo, les films et les productions en réalité virtuelle et augmentée

Étant donné l’énorme marché du divertissement numérique basé sur des avatars, le projet INVICTUS  s’emploie à développer des outils de conception numérique basés sur la capture volumétrique. Son but : aider les auteurs à capturer en 3D la performance des acteurs, en captant leurs gestes et leurs mimiques, pour en créer des doublures numériques réalistes qu’il est possible de modifier et d’adapter aux besoins narratifs, en réduisant le travail d’ajustement manuel, en accélérant le développement et en stimulant l’innovation, le tout pour des coût réduits.

Pour atteindre cet objectif, le projet INVICTUS propose d'exploiter les récentes technologies de capture de mouvement volumétrique, consistant à capturer simultanément l'apparence (forme et texture) et le mouvement des acteurs à l'aide de multiples caméras pour en faire des avatars volumétriques toujours plus réalistes à l’aide de techniques d’apprentissage profond.

 

Image
Démonstration et visiteurs lors de la présenttaion du projet

 

Afin de discuter des résultats obtenus jusqu'à présent et de faire la démonstration des technologies issues du projet, les partenaires se sont réunis à Rennes les 5 et 6 octobre. L'événement a été une occasion unique pour vingt scientifiques, chercheuses, chercheurs, ingénieures et ingénieurs de discuter des résultats de recherche du projet, tout en testant les technologies INVICTUS :

- Outil d'authoring VR pour la narration - VRtist

- Outil Gepeto pour capturer et modifier les avatars de haute-fidélité

- L'application Volu pour capturer, jouer et partager des vologrammes

Il s'agit d'un projet de recherche financé par l'Union européenne dans le cadre du programme ‘Horizon 2020 Recherche et Innovation’ auquel participent l'Université de Rennes 1, InterDigital (France), l'Institut Fraunhofer Heinrich Hertz HHI (Allemagne) et Volograms (Irlande). Pour évaluer les résultats du projet, INVICTUS a établi une collaboration avec Dada ! Animation, studio d'animation 3D en temps réel.

Le projet ouvrira de nouvelles perspectives, en démontrant et en communiquant sur la façon dont ces technologies peuvent être immédiatement exploitées dans les médias traditionnels (films/animation) et les nouveaux médias. Il ouvrira des opportunités sur le marché européen pour des expériences visuelles plus convaincantes, immersives et personnalisées à la croisée du cinéma et du jeu. Pour diffuser les résultats actuels, le projet a pris part à de nombreux événements pertinents tels que : 3DV, IBC, Festival international du film d'Annecy, FMX, Laval Virtual...

 


Image
projet européen INVICTUS

Le projet INVICTUS est coordonné à l'Université de Rennes 1 et mis en œuvre au sein de l'équipe VirtUS à l'IRISA par Marc Christie, maître de conférence Université de Rennes 1.

Pour découvrir le projet :