Combinaison de données hétérogènes pour la reconnaissance d'images de documents

Je présente une synthèse de mes travaux de recherche depuis 2009, au sein de l'équipe Intuidoc de l'Irisa. Ces travaux portent sur l'analyse automatique d'images de documents numérisés, et plus particulièrement la reconnaissance de la structure de documents.

Mes travaux se sont focalisés autour de la méthode DMOS. Il s'agit d'une méthode à base de règles grammaticales, permettant une description physique, syntaxique et sémantique des documents à reconnaître.
En particulier, nous avons mis au point le mécanisme de calque perceptif, qui permet une  combinaison de données hétérogènes, guidée par une description grammaticale des contenus.

Les données hétérogènes peuvent être des primitives basiques extraites de l'image (segments, composantes connexes), des objets construits (lignes de texte, alignements), des résultats de classifieurs, des données issues d'interactions avec l'utilisateur, des résultats de systèmes de reconnaissance d'écriture, et plus récemment des résultats produits par des systèmes à base d'apprentissage profond.

Nous présentons l'intérêt de la combinaison de données hétérogènes sur de nombreuses problématiques concrètes : les tâches de segmentation physique des pages, l'analyse de documents à structure complexe comme la presse ancienne, le corpus hétérogène Maurdor, des diagrammes de type flowchart, ou des documents tabulaires d'histoire de la finance. Nous présentons également des résultats sur des formulaires pré-imprimés.