Vers l'Exploitation de la Charge Mentale de Travail dans les Systèmes de Réalité Virtuelle

English version below

Malgré l’émergence rapide des systèmes automatisés et le développement de l’informatique affective, très peu d’études considèrent la charge mentale de travail dans la conception de scénarios de formation en RV. Cette thèse a pour objectif de contribuer au développement des systèmes adaptatifs en RV, basés sur la charge mentale de travail des utilisateurs.

Nous proposons 3 axes de recherches : induction, reconnaissance, et exploitation de la charge mentale de travail en RV, ainsi qu'une définition de la ``Réalité Virtuelle Affective et Cognitive''. Dans un premier temps, nous étudierons l’impact du port de casque de RV sur l’effort mental des utilisateurs. De plus, l’influence potentielle de la marche et de l’effet d’accommodation en RV seront analysés. Puis, nous proposerons une approche méthodologique pour introduire l’évaluation de la charge mentale de travail dans la conception de scénarios de formation en RV. Cette méthodologie permettra notamment de moduler le niveau de charge mentale de travail des utilisateurs au cours du temps. Des études utilisateurs seront menées dans un simulateur de vol en RV afin d'évaluer cette approche. Finalement, nous proposerons une solution tout-en-un afin d'estimer la charge mentale de travail des utilisateurs en temps-réel en utilisant des capteurs intégrés aux casques de RV. Cette configuration sera comparée aux systèmes plus répandus dans le commerce vis-à-vis des performances de prédiction. Les influences du type de mesures, des capteurs, et des méthodes de normalisation des signaux seront également analysées.

Pour suivre la soutenance, une chaine YouTube a été créée : https://youtu.be/CPIO22M0zzU

-----------------------------------------------

Towards the Exploitation of Mental Workload in Virtual Reality Systems

Despite the rapid emergence of autonomous systems and the development of affective computing, little studies considered mental workload in the design of VR training scenarios. This thesis aims to contribute to the development of adaptive VR systems based on the users' mental workload.

We propose 3 research axes: induction, recognition, and exploitation of mental workload in VR, and a definition of "Affective and Cognitive Virtual Reality”. First, we study the impact of wearing a VR HMD on the users’ mental efforts. In addition, the potential influence of walking and accommodation to VR effect are analysed. Then, we propose a methodological approach to introduce mental workload assessment in the design of VR training scenarios in complex immersive virtual environments. This methodology enables to modulate users' mental workload levels over time. User studies in a VR flight simulator are conducted to evaluate the approach. Finally, we propose an all-in-one solution to recognize users mental workloads in real-time using integrated physiological sensors into a VR HMD. This setup is compared to a commercial-grade system with regards to the mental workload recognition accuracy. The influences of the type of measures, sensors, and signal normalization methods is also investigated.