Soutenance de Thèse de Thomas Bouvier, équipe Kerdata : Tampons de Répétition Distribués pour passer l'Apprentissage Continu à l'Échelle

L'apprentissage profond est un outil d'extraction d'informations à
partir de volumes de données gigantesques. Cependant, lorsqu'ils sont
entraînés sur des tâches séquentielles (sans accès au jeu de données
complet au début de l'entraînement), les réseaux de neurones souffrent
d'oubli catastrophique, un phénomène qui donne davantage d'importance
aux échantillons récents au détriment des connaissances acquises plus
tôt. Cette limitation est problématique pour les applications exploitant
des flux de données générés au fil du temps. Il est irréalisable de
ré-entraîner des modèles à partir de zéro à chaque fois que de nouveaux
échantillons sont ingérés, car cela s'accompagnerait de temps
d'entraînement trop élevés.

Dans cette thèse, nous présentons des techniques basées sur la
répétition pour passer l'apprentissage continu à l'échelle. Les
approches basées sur la répétition utilisent des échantillons
représentatifs rencontrés précédemment pendant l'entraînement, afin
d'augmenter les futurs minibatches avec. Notre contribution principale
porte sur la façon d'allier répétition d'échantillons représentatifs et
parallélisme de données, qui est l'une des principales techniques pour
passer des workloads à l'échelle sur les systèmes HPC. Nous proposons
ainsi un tampon de répétition distribué exploitant de nombreuses
techniques de parallélisation, permettant d'améliorer les performances
prédictives du modèle sans allonger le temps entraînement.