Environnements Immersifs Partagés pour la Co-Création Artistique en Modalités Hétérogènes

L’objectif principal de cette th.se est d’.tudier la conception d’environnements virtuels immersifs de co-création hétéroge ne qui permettent de combiner plusieurs modalit.s artistiques (corporelle, musicale, plastique, visuelle).

Un exemple serait une musicienne, un danseur et une artiste pratiquant le dessin 3D, partageant un environnement virtuel a distance, sur grand .cran ou avec des casques de r.alité́ mixte ou virtuelle. Un environnement partagé idéal permettrait a  la musicienne de récupérer la dynamique en sortie des gestes du danseur et de la connecter a  un parame tre en entrée (e.g. fréquence de coupure d’un filtre) de son instrument. De la même manie re les parame tres en entrée du dessin 3D (e.g. taille de brosse) pourraient être a  leur tour connectés aux parame tres en sortie de l’instrument (e.g. intensité). Une fa.on de conceptualiser cette combinaison serait sous la forme d’un langage de programmation visuel ("patcher") a  la manie re des outils classiquement utilisés dans les moteurs de jeu (Unreal Blueprints) ou les logiciels de programmation pour la création sonore (Max/MSP, PureData) ou visuelle (VVVV). Dans ce projet, le patching se ferait entre des données de modalités différentes (audio, video, contrôle ...), avec des temporalités différentes, et au travers de représentations des artistes dans un environnement virtuel partagé. Les modalités artistiques envisagées sont : la musique, le dessin 3D, la danse, le vjiing (composition vidéo live), les sculptures. Un autre aspect important est la prise en compte de la frugalité : comment réutiliser les outils de création et équipements immersifs existants dans la conception de ces environnements de création partagés.

On peut distinguer diff.rentes temporalit.s dans la cr.ation collaborative d’une oeuvre d’art num.rique. La premi.re se situe en amont d’une pr.sentation au public avec la cr.ation de l’oeuvre par plusieurs artistes. La seconde se situe dans le temps de la performance, en relation directe avec le public. Nous nous int.resserons dans un premier temps a  la premi.re temporalité́ en proposant des environnements qui permettent a  plusieurs artistes de co-créer dans un m.me espace virtuel. Ce premier travail permet de se focaliser sur les interfaces propos.es aux artistes pour combiner diff.rentes modalit.s d’expression. Un tel environnement permet en particulier une synchronisation plus souple entre les diff.rentes expressions. Dans un second temps, nous aborderons la temporalité de la performance, qui est plus exigeante en termes de synchronisation des modalités et impose des contraintes spécifiques sur le design d’interfaces qui doivent être simples et intuitives. Nous visons une approche basée XR multi-modale / comparé a  des interfaces de collaboration 2D et/ou immersives sur une seule modalité.

Ce projet s’inscrit dans le cadre de l’Equipex+ Continuum et permettra de bénéficier d’une interconnexion des plate- formes Immersia (Rennes), Revica (Lille) et Tore (Lille) (et d’autres plateformes par la suite) pour le prototypage, les expérimentations et les restitutions de performances. Les deux équipes de recherche entretiennent également déja  des contacts avec des collectifs d’artistes qui pourront être impliqués dans les évaluations et diffusions des travaux : FAIRE (Rennes, Centre hip-hop, danse, musique), Otium (Lille, Vjiing, Musique électronique, Danse).