Combinaison de modèles génératifs non supervisés et d'une méthode syntaxique pour la détection de symboles musicaux avec peu de données annotées

Voici le lien Youtube pour pouvoir assister à la soutenance à distance: https://www.youtube.com/watch?v=NVkpZGMEdXw

Vous pouvez assister à la soutenance dans la salle, dans la limite des places disponibles (30) : inscriptions auprès de nadia [*] derouaultinria [*] fr

Dans ces travaux, nous étudions la détection de symboles musicaux dans des partitions historiques imprimées, complexes, denses et bruitées en utilisant des modèles de détection de Deep Learning. Nous proposons une étude comparative de plusieurs modèles de détection de l'état de l'art appliqués aux symboles musicaux ainsi qu'une nouvelle architecture basée sur le Spatial Transformer pour une tâche de détection spécifique et contrainte. Bien que cette nouvelle architecture nous a permis d'explorer une approche originale à la détection, nous obtenons 94,8% de mAP alors que la meilleure méthode de l'état de l'art obtient un mAP de 98,7%. L'utilisation de modèles de Deep Learning nécessitant une grande quantité de données annotées, nous proposons l'Isolating-GAN, une nouvelle méthode de détection de symboles musicaux non supervisée et basée sur un réseau antagoniste génératif (GAN). En utilisant uniquement des exemples de symboles isolés, nous construisons un modèle génératif de type encodeur-décodeur capable de filtrer et d'isoler des symboles musicaux de leur contexte bruité et nous entraînons ce modèle en utilisant une fonction d'apprentissage hybride. Les symboles précédemment isolés sont par la suite détectés en utilisant un petit détecteur préentrainé avec des symboles isolés sur fond blanc. Avec cette approche, nous obtenons un mAP de 82,5% dans le cadre d'une tâche de détection de trois types d'altérations. Nous démontrons que l'apport de l'Isolating-GAN pour filtrer et isoler les symboles avant détection permet de réduire le nombre de faux positifs de 2696 à 57. L'ensemble a été appliqué sur 1774 pages de partitions anciennes et a permis de détecter 38908 altérations.