Environnements Immersifs Partagés pour la Co-Création Artistique en Modalités Hétérogènes

Publié le
Equipe
Lieu
Rennes
Unité de recherche
IRISA - UMR 6074
Description du sujet de la thèse

L’objectif principal de cette th.se est d’.tudier la conception d’environnements virtuels immersifs de co-création hétéroge ne qui permettent de combiner plusieurs modalit.s artistiques (corporelle, musicale, plastique, visuelle).

Un exemple serait une musicienne, un danseur et une artiste pratiquant le dessin 3D, partageant un environnement virtuel a distance, sur grand .cran ou avec des casques de r.alité́ mixte ou virtuelle. Un environnement partagé idéal permettrait a  la musicienne de récupérer la dynamique en sortie des gestes du danseur et de la connecter a  un parame tre en entrée (e.g. fréquence de coupure d’un filtre) de son instrument. De la même manie re les parame tres en entrée du dessin 3D (e.g. taille de brosse) pourraient être a  leur tour connectés aux parame tres en sortie de l’instrument (e.g. intensité). Une fa.on de conceptualiser cette combinaison serait sous la forme d’un langage de programmation visuel ("patcher") a  la manie re des outils classiquement utilisés dans les moteurs de jeu (Unreal Blueprints) ou les logiciels de programmation pour la création sonore (Max/MSP, PureData) ou visuelle (VVVV). Dans ce projet, le patching se ferait entre des données de modalités différentes (audio, video, contrôle ...), avec des temporalités différentes, et au travers de représentations des artistes dans un environnement virtuel partagé. Les modalités artistiques envisagées sont : la musique, le dessin 3D, la danse, le vjiing (composition vidéo live), les sculptures. Un autre aspect important est la prise en compte de la frugalité : comment réutiliser les outils de création et équipements immersifs existants dans la conception de ces environnements de création partagés.

On peut distinguer diff.rentes temporalit.s dans la cr.ation collaborative d’une oeuvre d’art num.rique. La premi.re se situe en amont d’une pr.sentation au public avec la cr.ation de l’oeuvre par plusieurs artistes. La seconde se situe dans le temps de la performance, en relation directe avec le public. Nous nous int.resserons dans un premier temps a  la premi.re temporalité́ en proposant des environnements qui permettent a  plusieurs artistes de co-créer dans un m.me espace virtuel. Ce premier travail permet de se focaliser sur les interfaces propos.es aux artistes pour combiner diff.rentes modalit.s d’expression. Un tel environnement permet en particulier une synchronisation plus souple entre les diff.rentes expressions. Dans un second temps, nous aborderons la temporalité de la performance, qui est plus exigeante en termes de synchronisation des modalités et impose des contraintes spécifiques sur le design d’interfaces qui doivent être simples et intuitives. Nous visons une approche basée XR multi-modale / comparé a  des interfaces de collaboration 2D et/ou immersives sur une seule modalité.

Ce projet s’inscrit dans le cadre de l’Equipex+ Continuum et permettra de bénéficier d’une interconnexion des plate- formes Immersia (Rennes), Revica (Lille) et Tore (Lille) (et d’autres plateformes par la suite) pour le prototypage, les expérimentations et les restitutions de performances. Les deux équipes de recherche entretiennent également déja  des contacts avec des collectifs d’artistes qui pourront être impliqués dans les évaluations et diffusions des travaux : FAIRE (Rennes, Centre hip-hop, danse, musique), Otium (Lille, Vjiing, Musique électronique, Danse).

Bibliographie

[1] Florent Berthaut and Luke Dahl. Adapting & Openness: Dynamics of Collaboration Interfaces for Heterogeneous Digital Orchestras. In New Interfaces for Musical Expression, Birmingham, United Kingdom, July 2020.

[2] Florent Berthaut. 3D interaction techniques for musical expression. Journal of New Music Research, 2020.

[3] Nicolas Bazoge, Ronan Gaugne, Florian Nouviale, Val.rie Gouranton, and Bruno Bossis. Expressive potentials of motion capture in the Vis Insita musical performance. In NIME, pages 1–5, June 2019.

[4] Julien Lomet, Ronan Gaugne, and Val.rie Gouranton. Could you relax in an artistic co-creative virtual reality experience? In ICAT-EGVE,, pages 1–9, November 2022.

[5] Julien Lomet, Ronan Gaugne, C.dric Plessiet, Jo.l Laurent, and Val.rie Gouranton. Collaboration in a virtual reality artwork: the experience of co-presence, co-creation and letting go. In MOCO, June 2022.

Liste des encadrants et encadrantes de thèse

Nom, Prénom
Gouranton Valérie
Type d'encadrement
Directeur.trice de thèse
Unité de recherche
IRISA
Equipe
Contact·s
Nom
Gouranton Valérie
Email
valerie.gouranton@irisa.fr
Mots-clés
réalité virtuelle, collaboration, arts numériques