Architectures de Transformer légères pour la reconnaissance de textes manuscrits anciens

Thèse
Date de début
Date de fin
Lieu
IRISA Rennes
Salle
Amphi - Inria
Orateur
Killian BARRERE (SHADOC)
Département principal
D6 - Signal, Image, Langage
Sujet
En reconnaissance d'écriture manuscrites, les architectures Transformer permettent de faibles taux d'erreur, mais sont difficiles à entraîner avec le peu de données annotées disponibles. Dans cette thèse, nous proposons des architectures Transformer légères adaptées aux données limitées. Nous introduisons une architecture rapide basée sur un encodeur Transformer, et traitant jusqu'à 60 pages par seconde. Nous proposons aussi des architectures utilisant un décodeur Transformer pour inclure l'apprentissage de la langue dans la reconnaissance des caractères.
Pour entraîner efficacement nos architectures, nous proposons des algorithmes de génération de données synthétiques adaptées au style visuel des documents modernes et anciens. Nous proposons également des stratégies pour l'apprentissage avec peu de données spécifiques, et la réduction des erreurs de prédiction.
Nos architectures, combinées à l'utilisation de données synthétiques et de ces stratégies, atteignent des taux d'erreur compétitifs sur des lignes de texte de documents modernes. Sur des documents anciens, elles parviennent à s'entraîner avec des nombres limités de données annotées, et surpassent les approches de l'état de l'art. En particulier, 500 lignes annotées sont suffisantes pour obtenir des taux d'erreur caractères proches de 5%.
 
Composition du jury
Rapporteurs avant soutenance :
Christophe GARCIA, Professeur des universités, INSA Lyon
Thierry PAQUET, Professeur des universités, Université de Rouen Normandie

Membres du jury :
Christophe GARCIA, Professeur des universités, INSA Lyon (rapporteur)
Thierry PAQUET, Professeur des universités, Université de Rouen Normandie (rapporteur)
Josep LLADÓS, Professeur associé, Universitat Autónoma de Barcelona, Espagne
Harold MOUCHÈRE, Professeur des universités, Université de Nantes
Bertrand COÜASNON, Maître de conférences HDR, INSA Rennes (directeur de thèse)
Aurélie LEMAITRE, Maître de conférences HDR, Université Rennes 2 (co-directrice de thèse)

Invité :
Yann SOULLARD & Maître de conférences, Université Rennes 2 (co-encadrant de thèse)

ATTENTION dans le cadre du plan VIGIPIRATE la règle suivante s'applique pour cet évènement :
L’accès ne sera pas autorisé sans inscription préalable des personnes extérieure au laboratoire. Par ailleurs, les visiteurs ne porteront ni bagage ni sac.