Détection de désinformation multimodale : surmonter le défi de la collecte de données d'entraînement grâce à la génération de données

La désinformation est un problème croissant qui affecte un large éventail de domaines. Des images sont souvent associées au texte afin d’augmenter la crédibilité de l’information et l'engagement du lecteur.
Ainsi, des outils automatisés de vérification multimodaux de l’information sont nécessaires pour aider la vérification manuelle à suivre le flux d'information. Malgré la quantité croissante de désinformation, la création d'un ensemble de données non biaisé et adapté à l’entraînement de ces modèles en les collectant est un défi.

Dans cette thèse, nous explorons comment les modèles génératifs peuvent être utilisés pour l’entraînement à des tâches discriminatives en l'absence de données. Plus précisément, nous essayons de réduire les différences entre les échantillons organiques et synthétiques afin que le modèle ne puisse pas s'appuyer sur cette information pour prendre sa décision. Pour cela, nous abordons le problème des récompenses clairsemées dans les modèles antagonistes textuels. Nous explorons la génération coopérative où le générateur est guidé par un modèle externe pour obtenir de meilleurs scores et proposons une méthode originale basée sur le Monte Carlo Tree Search. Nous proposons ensuite une nouvelle formulation des modèles antagonistes textuels en utilisant des textes générés de manière coopérative, nous permettant d’obtenir des garanties de convergence. Ensuite, nous utilisons la génération coopérative pour générer des explications de modèles boîte noire et menons une étude empirique sur la complexité/qualité de différents types de modèles guides dans le cadre coopératif. Enfin, nous explorons l'utilisation de légendes humaines dans un apprentissage par renforcement d'un modèle de génération de légendes d'images en utilisant des récompenses provenant d'un modèle de recherche cross-modal afin de créer un espace d’alignement cross-modal avec une granularité très fine.
Nous concluons en discutant des opportunités et des risques des modèles génératifs dans le contexte de la désinformation et discutons des solutions offertes par le tatouage numérique.

L’accès du public à cette soutenance est contraint à une inscription préalable obligatoire auprès de pr%C3%A9nom [*] nominria [*] fr (aurelie[dot]patier[at]irisa[dot]fr) - L’accès ne sera pas autorisé sans inscription préalable.

Par ailleurs, les visiteurs ne porteront ni bagage ni sac.