Architectures de Transformer légères pour la reconnaissance de textes manuscrits anciens

Thesis
Starting date
End date
Location
IRISA Rennes
Room
Amphi - Inria
Speaker
Killian BARRERE (SHADOC)
Main department
D6 - Signal, Image, Language
Theme
En reconnaissance d'écriture manuscrites, les architectures Transformer permettent de faibles taux d'erreur, mais sont difficiles à entraîner avec le peu de données annotées disponibles. Dans cette thèse, nous proposons des architectures Transformer légères adaptées aux données limitées. Nous introduisons une architecture rapide basée sur un encodeur Transformer, et traitant jusqu'à 60 pages par seconde. Nous proposons aussi des architectures utilisant un décodeur Transformer pour inclure l'apprentissage de la langue dans la reconnaissance des caractères.
Pour entraîner efficacement nos architectures, nous proposons des algorithmes de génération de données synthétiques adaptées au style visuel des documents modernes et anciens. Nous proposons également des stratégies pour l'apprentissage avec peu de données spécifiques, et la réduction des erreurs de prédiction.
Nos architectures, combinées à l'utilisation de données synthétiques et de ces stratégies, atteignent des taux d'erreur compétitifs sur des lignes de texte de documents modernes. Sur des documents anciens, elles parviennent à s'entraîner avec des nombres limités de données annotées, et surpassent les approches de l'état de l'art. En particulier, 500 lignes annotées sont suffisantes pour obtenir des taux d'erreur caractères proches de 5%.
 
Composition of the jury
Rapporteurs avant soutenance :
Christophe GARCIA, Professeur des universités, INSA Lyon
Thierry PAQUET, Professeur des universités, Université de Rouen Normandie

Membres du jury :
Christophe GARCIA, Professeur des universités, INSA Lyon (rapporteur)
Thierry PAQUET, Professeur des universités, Université de Rouen Normandie (rapporteur)
Josep LLADÓS, Professeur associé, Universitat Autónoma de Barcelona, Espagne
Harold MOUCHÈRE, Professeur des universités, Université de Nantes
Bertrand COÜASNON, Maître de conférences HDR, INSA Rennes (directeur de thèse)
Aurélie LEMAITRE, Maître de conférences HDR, Université Rennes 2 (co-directrice de thèse)

Invité :
Yann SOULLARD & Maître de conférences, Université Rennes 2 (co-encadrant de thèse)

ATTENTION dans le cadre du plan VIGIPIRATE la règle suivante s'applique pour cet évènement :
L’accès ne sera pas autorisé sans inscription préalable des personnes extérieure au laboratoire. Par ailleurs, les visiteurs ne porteront ni bagage ni sac.