Reconstruction de mouvements en 3D à l'aide de méthodes d'apprentissage profond : application aux handicaps moteurs

Cette thèse porte sur la reconstruction de mouvement 3D à partir de vidéo RGB en utilisant des techniques d'apprentissage profond et propose une solution alternative aux systèmes capture de mouvement (MoCap) dans les situations complexes où leur utilisation est difficile, notamment le handicap moteur. La solution proposée est basée sur l'estimation de poses, suivie de la reconstruction du mouvement par un processus de correction qui préserve la continuité temporelle entre les poses successives. Nous définissons une fonction de perte Laplacienne pour entraîner les modèles d’IA, ainsi que des métriques d'évaluation de la temporalité du mouvement et la préservation de la structure du squelette. Le système de correction de mouvement développé en couplant modélisation Laplacienne du mouvement et apprentissage profond permet une reconstruction avec une meilleure qualité temporelle et spatiale. Dans un second temps, nous appliquons notre système de reconstruction de mouvement en situation de handicap moteur. Nous pallions le manque de données en générant des vidéos 2D à partir de mouvements 3D capturés par MoCap. Cette approche originale augmente nos données en utilisant plusieurs caméras d’enregistrement (différents points de vue) et des modèles 3D de personnages virtuels variés. Notre modèle de reconstruction montre de bonnes performances sur ces vidéos et offre des perspectives prometteuses pour des applications temps réel.

Mots-clés: reconstruction de mouvement, apprentissage profond, handicap moteur, analyse et synthèse du mouvement.