Réseaux de Neurones à Convolution Spatio-Temporelle pour l'Analyse et la Reconnaissance Précoce d’Actions et de Gestes

Ce travail de recherche se concentre sur la reconnaissance précoce de gestes dans le domaine de l'interaction homme-machine. Il s’inscrit dans le cadre d’une collaboration entre deux équipes de recherche : ShaDoc, spécialiste de la reconnaissance de document et du geste 2D et MimeTic, experte en analyse du mouvement humain. Il aborde un défi complexe consistant à développer une approche polyvalente pour la reconnaissance à la fois de gestes 2D effectués sur tablette et gestes 3D effectués par le corps humain. Pour des besoins de fluidité d’interaction et de réactivité dans les deux domaines, le défi principal est de parvenir à reconnaître ces gestes au plus tôt, si possible avant qu’ils ne soient terminés.

Les contributions s’inscrivent sur trois piliers: la représentation du geste, la réalisation d’un système de reconnaissance à base de réseaux profonds, et la conception d’un mécanisme de décision. Ces trois éléments sont coordonnés au sein d'un système capable de reconnaître un geste en cours de manière précoce, mais aussi de ne pas prendre de décision tant qu’un geste n’est pas reconnaissable du fait d’une ambiguïté entre plusieurs gestes.

Ces approches se sont avérées performantes lors des évaluations, à la fois dans le contexte segmenté sur le geste 2D, et dans le contexte non-segmenté sur les gestes 2D et 3D. Les résultats et expérimentations de cette recherche démontrent la pertinence de ces approches pour les systèmes interactifs en temps réel.