Spherical light field representation and reconstruction from omnidirectional imagery

This thesis reviews advanced omnidirectional imaging systems, light field capture and rendering
pipelines, and the latest scene reconstruction paradigm, Radiance Field (RF). It addresses key
challenges encountered in using RF for spherical light field representation and scene
reconstruction. The primary contributions are in three aspects. First, we extend Neural Radiance
Fields (NeRF) to support omnidirectional image inputs by incorporating an optimizable fisheye
camera model. This allows for 360-degree scene reconstruction with ultra-wide-angle images,
emphasizing the importance of spherical ray-sampling in such contexts. Second, to address the
challenge of reconstructing 360-degree scenes from sparse omnidirectional image inputs, we
combine vanishing point estimation with frequency encoding in an efficient hash-encoding
framework, which significantly improves reconstruction quality without compromising efficiency.
Finally, we enhance sparse-input scene reconstruction by integrating high-quality 2D image
segmentation techniques. Using object mask matching from multiple views, we constrain objects
within limited 3D spaces, improving scene reconstruction accuracy and achieving consistent 3D
segmentation. These methods advance the RF-based reconstruction of 360-degree scenes,
offering robust solutions for sparse input scenarios and enhancing visual experience in immersive
image modalities.

Cette thèse examine les systèmes d’imagerie omnidirectionnelle avancés, la capture de champs
lumineux et les pipelines de rendu, ainsi que le dernier paradigme de reconstruction de scènes, le
champ de radiance (Radiance Field, RF). Elle traite des défis clés liés à l’utilisation du RF pour la
représentation de champs lumineux sphériques et la reconstruction de scènes. Les principales
contributions sont les suivantes : Tout d’abord, nous étendons les Champs de Radiance Neuronaux
(NeRF) pour prendre en charge les entrées d’images omnidirectionnelles en intégrant un modèle
de caméra fisheye optimisable. Cela permet la reconstruction de scènes à 360 degrés avec des
images grand angle, en mettant l’accent sur l’échantillonnage de rayons sphériques. Ensuite, nous
améliorons la reconstruction de scènes à 360 degrés à partir d’images omnidirectionnelles éparses
en combinant l’estimation de points de fuite avec un encodage fréquentiel dans un cadre
d’encodage de hachage efficace. Enfin, nous intégrons des techniques de segmentation d’images
2D de haute qualité pour contraindre les objets dans des espaces 3D limités, améliorant ainsi la
précision de la reconstruction de scènes et la segmentation cohérente en 3D.