Robustness of visual SLAM techniques to light changing conditions

Vous êtes cordialement invités à venir assister à la soutenance de thèse de Xi Wang, doctorant de l'équipe MimeTIC.

Pour l'occasion, une chaîne YouTube a été créée : https://youtu.be/9yWXVkzn03s

(English version below)

La technique SLAM (Simultaneous Localization And Mapping) se concentre sur la localisation et la récupération de l’environnement et est l’une des fonctionnalités de base de nombreux produits industriels tels que la réalité augmentée, la véhicule autonome, et même le flux de travail cinématographique moderne.

De multiples difficultés dans les différentes layers peuvent influencer la performance finale de la tâche SLAM des agents robotiques, car le pipeline est long et compliqué. De nombreuses solutions sont proposées pour renforcer la performance du SLAM de différents angles, respectivement, avec les moyens des modèles de probabilité statistiques classiques au moderne deep learning methods basé sur les données. Cependant, la quête d’amélioration de la robustesse du robot dans des environnements dynamiques et complexes persiste et devient de plus en plus importante et active pour la recherche en robotique d’aujourd’hui. Le besoin d’améliorer la robustesse des agents robots est imminent et considéré comme l’un des facteurs les plus impératifs pour déployer des robots de manière omniprésente dans notre vie quotidienne.

Dans ce contexte, cette thèse tente de résoudre le problème de la robustesse du SLAM, dans une façon très systématique : nous essayons de décomposer le système SLAM en modules différents et inter-influents, pour répondre aux questions au sein de chaque module pour finalement améliorer la robustesse totale du système SLAM.

Avec les objectifs ci-dessus, les contributions de la thèse sont énoncées comme suit pour aborder le problème de robustesse sous plusieurs angles : 1) Du point de vue de l’image, nous avons proposé une structure d’image à plusieurs layers pour améliorer les performances des caractéristiques d’image locales traditionnelles dans des conditions extrêmes. De plus, une méthode d’optimisation sur la recherche linéaire et l’optimisation convexe assistée par information mutuelle sont conçues pour régler les paramètres optimaux avec la structure proposée; 2) Du point de vue du primitif géométrique, nous avons proposé une estimation de pose relative et un cadre SLAM sous l’hypothèse de plans multiples, respective- ment par des méthodes basées sur des caractéristiques de points clés et basées sur des modèles de suivi. Nous avons essayé d’obtenir de meilleures performances de cartographie et de suivi simultanément à l’aide d’une hypothèse planaire plus générale; 3) Du point de vue de la relocalisation du système SLAM, l’idée est de récupérer les endroits déjà passés par l’agent robot pour éliminer l’erreur d’estimation globale ou lorsque le robot est en état perdu. Nous avons proposé une structure de graphe avec des embedding binaires pour intégrer des informations spatiales et des formats de données hétérogènes tels que des images de profondeur, des informations sémantiques, même des résultats de deep learning etc. La méthode proposée permet aux systèmes robotiques SLAM de se relocaliser avec un taux de réussite plus élevé, même dans des conditions de différentes éclairage et saisonnières.

==============

The SLAM (Simultaneous Localization And Mapping) technique concentrates on localizing and recovering the environment in a simultaneous way and is one of the core functionalities of many industrial products such as augmented reality, autonomous driving, and even modern filmmaking workflow.

Multiple difficulties in different levels can influence the final performance of robot agents’ SLAM task, as the pipeline is long and complicated. Many solutions are proposed for reinforcing the SLAM system from different angles respectively, with the means from classic statistical probability models to the modern data-driven deep neural networks. However, the quest of improving the robot’s robustness under dynamic and complicated environments persists and becomes more and more significant and active for nowadays robotics research. The need for improving the robustness of robot agents is imminent and regarded as one of most imperative factors for deploying robots ubiquitously in our daily life.

Under this context, this thesis tries to address the problem of SLAM robustness, in a very systematic view: we try to break down the SLAM system into different and inter-influential modules for answering possible questions within each module and wishing to help improve the overall robustness of SLAM systems under complicated conditions.

With the above objectives, the contributions of the thesis are stated from multiple angles: 1) From the image feature angle, we proposed a multiple layered image structure for improving the performance of traditional local image features under extreme conditions. Furthermore, an optimisation method on linear searching and mutual information assisted convex optimisation are designated for tuning the optimal parameters with the proposed structure; 2) From the geometric primitive angle, we proposed a relative pose estimation and SLAM framework under the multiple planar assumption, by keypoint feature-based and template tracker based methods, respectively. We tried to achieve better performance on mapping and tracking simultaneously with the help of a more general planar assumption. 3) From the angle of relocalization of the SLAM system, we proposed a binary graph structure for embedding spatial information and heterogeneous data formats such as depth image, semantic information etc. The proposed method enables robotics SLAM systems to relocalise themselves with a higher success rate even under different lighting, weather and seasonal conditions.