FRVSense Research Team

Rendu et Illumination Globale

L'objectif principal est le calcul en temps réel de l'illumination globale pour la synthèse d'images photoréalistes. C'est le défi que veulent relever tous les chercheurs impliqués dans la création de films en 3D, dans les jeux vidéo ainsi que dans les applications de réalité virtuelle. Nous voulons mettre à la disposition des artistes des outils pour le rendu d'images photoréaliste en temps réel. Dans ce contexte nous explorons plusieurs approches :

rééclairage en temps réel de séquences d'animation afin de permettre aux artistes de spécifier et de régler l'éclairage de manière interactive,
calcul de l'éclairage en illumination globale de manière très efficace en utilisant des approches Bayésiennes.

Concernant le domaine cinématographique, notre objectif est de concevoir un algorithme permettant de spécifier et modifier de manière interactive des images d'une séquence d'animation. Changer les paramètres de la lumière, les positions des sources de lumière et rejouer l'animation pourrait être fait de façon interactive. Après les travaux de Haÿsan et al. [H. M., V.-A. E., P. F., B. K., “Tensor Clustering for Rendering Many-Light Animations”, Computer Graphics Forum 27, 4, 2008. ], nous avons formalisé le problème de rééclairage des animations en utilisant un tenseur de transfert. Nous travaillons sur une méthode adaptative pour l'évaluation et l'optimisation des tenseurs de transfert en utilisant des analyses en composantes principales en cluster (CPCA).

Pour l'illumination globale, nous avons proposé une autre approche connue sous le nom d'intégration Bayésienne de Monte Carlo (BMC) [A. O’Hagan, “Monte-Carlo is fundamentally unsound”, The Statistician 36, 2/3, 1987, p. 247– 249.]. Par opposition des méthodes d'échantillonnage par importance, l'approche BMC n'a pas besoin d'une fonction de densité de probabilité pour tirer les échantillons. Le prix à payer est plus élevé par échantillon, mais dans une étude récente [J. Brouillat, C. Bouville, B. Loos, C. Hansen, K. Bouatouch, “A Bayesian Monte Carlo Approach to Global Illumination”, Computer Graphics Forum 28, 8, 2009, p. 2315–2329, http://dx.doi.org/10.1111/j.1467- 8659.2009.01537.x.], nous avons montré que ce coût peut être réduit au même niveau que pour l'échantillonnage d'importance avec une solution sous-optimale. Par rapport à l'approche classique de l'échantillonage par importance, notre approche BMC permet une diminution de 23% du nombre d'échantillons pour le même niveau de bruit. Ces premiers résultats ont été obtenus pour le calcul de la composante diffuse. Nous analysons avec précisions dans quelles étapes du par illumination globale l'approche BMC est bénéfique et nous poursuivons les expérimentations. Un premier objectif est de prendre en compte la composante spéculaire de l'éclairage et d'obtenir un rendu en temps réel dans le cadre des cartes d'environnement. Un aspect important de ce travail est l'intégration des connaissances préalables. Nous étudions également des solutions pour l'échantillonage spatio-temporel. Nous pensons que l'approche BMC peut fournir un cadre théorique et algorithmique très puissant dans lequel les étapes d'approximations et d'intégration peuvent être fusionnées, conduisant ainsi à de très méthodes de rendu très efficace.

Perception et Apparence d'Images

Notre principal objectif est de proposer une approche qui combine illumination globale et perception afin de calculer des images non simplement photoréalistes mais également perceptuellement réalistes. C'est à dire des images correspondant à ce que percevrait un être humain s'il était immergé dans la scène virtuelle.

Prendre en compte les caractéristiques du système visuel humain (HVS) dans le rendu nécessite de connaître le point observé dans le monde virtuel : attention visuelle. Nous avons donc proposé un modèle robuste et temps réel d'attention visuelle dans le cadre de la réalité virtuelle. Ce modèle mixte des informations ascendantes (analyse du flux visuel :saillance, habituation, interactions) et descendantes (nature de la tâche, environnement 3D informé) [S. Hillaire, G. Breton, N. Ouarti, R. Cozot, A. Lecuyer, “Using a Visual Attention Model to Improve Gaze Tracking Systems in Interactive 3D Applications", Computer Graphics Forum, 2010][S. Hillaire, A. Lecuyer, R. Corte, T., R. Cozot, G. Breton, “A Real-Time Visual Attention Model for Predicting Gaze Point During First-Person Exploration of Virtual Environments”, in : VRST 2010, 2010.]. Nous avons également montré que la prise en compte de la profondeur de champ de la vision humaine pilotée l'attention visuelle améliore le sentiment d'immersion dans les mondes virtuels.

Les phénomènes d'adaptation du système visuel humain à la gamme de luminance et couleur de la lumière sont des caractéristiques importantes de notre perception. Ils nous permettent une vison efficace quelque soit la gamme de luminance (d'un intérieur "faiblement" éclairé de manière artificielle à un extérieur sous un soleil direct) et de percevoir correctement les couleurs quelque soit la nature chromatique de l'éclaire. Nous travaillons donc :

un algorithme temps réel et robuste d'adpatation chromtique (estimation du blanc de référence et balance des blancs) dans le contexte de l'illumination globale en réalité virtuelle,
un algorithme d'adaptation à la gamme de luminance qui tire partie de notre modèle d'attention visuelle,dans le cadre de la réaltié virtuelle
des méthodes d'amélioration du confort visuel pour les écrans auto-stéréoscopiques.

Le défi à moyen terme est non seulement des méthodes robustes et temps réel de prise en compte du système visuel humain afin d'offrir une bonne qualité d'immersion dans les scènes virtuelles, il est d'inverser les modèles proposés afin que les artistes et créateurs de mondes virtuels de spécifier directement le style, l'ambiance, la tonalité, la chaleur des images produites. La spécification doit se faire de manière interactive et intuitive.