Reconstruction de mouvements en 3D à l'aide de méthodes d'apprentissage profond : application aux handicaps moteurs

Type de soutenance
Thèse
Date de début
Date de fin
Lieu
IRISA Vannes
Salle
Amphitéatre A104, Bâtiment DSEG
Orateur
Mansour TCHENEGNON
Département principal
Sujet

Cette thèse porte sur la reconstruction de mouvement 3D à partir de vidéo RGB en utilisant des techniques d'apprentissage profond et propose une solution alternative aux systèmes capture de mouvement (MoCap) dans les situations complexes où leur utilisation est difficile, notamment le handicap moteur. La solution proposée est basée sur l'estimation de poses, suivie de la reconstruction du mouvement par un processus de correction qui préserve la continuité temporelle entre les poses successives. Nous définissons une fonction de perte Laplacienne pour entraîner les modèles d’IA, ainsi que des métriques d'évaluation de la temporalité du mouvement et la préservation de la structure du squelette. Le système de correction de mouvement développé en couplant modélisation Laplacienne du mouvement et apprentissage profond permet une reconstruction avec une meilleure qualité temporelle et spatiale. Dans un second temps, nous appliquons notre système de reconstruction de mouvement en situation de handicap moteur. Nous pallions le manque de données en générant des vidéos 2D à partir de mouvements 3D capturés par MoCap. Cette approche originale augmente nos données en utilisant plusieurs caméras d’enregistrement (différents points de vue) et des modèles 3D de personnages virtuels variés. Notre modèle de reconstruction montre de bonnes performances sur ces vidéos et offre des perspectives prometteuses pour des applications temps réel.

Mots-clés: reconstruction de mouvement, apprentissage profond, handicap moteur, analyse et synthèse du mouvement.

Composition du jury
Alexandre MEYER, Maître de Conférences HDR, Université Lyon 1 (Rapporteur)
Ludovic HOYET, Chargé de Recherche, INRIA Rennes (Rapporteur)
Jean-Philippe VANDEBORRE, Professeur des Universités, IMT Lille Douai (Examinateur)
Richard KULPA, Professeur des Universités, Université Rennes 2 (Examinateur)
Sylvie GIBET, Professeure des Universités, Université Bretagne Sud (Directrice de thèse)
Thibaut Le NAOUR, Chercheur CEO, Motion-Up (Co-encadrant)
Willy ALLEGRE, Directeur Technique, Centre d’innovations CoWork’HIT (Co-encadrant)
Didier PRADON, Chercheur, Hôpital Raymond-Poincaré – Hôpitaux universitaires Paris Ile-de-France Ouest (Invité)