Defense type
Thesis
Starting date
End date
Location
Other
Room
Université du MANS -LIUM- Salle du Conseil (IC2)
Speaker
SHAMSI Meysam (Equipe EXPRESSION-LANNION)
Main department
Theme
English version below
L'objectif de cette thèse est la génération d'un livre audio expressif, vocalisé à l'aide de signaux de parole synthétiques et naturels, avec une haute qualité et un coût d'enregistrement minimal.
La stratégie consiste à sélectionner une partie du livre dont les signaux enregistrés issus de sa lecture forment une voix. Cette voix est utilisée pour vocaliser le reste du livre à l'aide d'un système de synthèse de parole. Plusieurs stratégies sont proposées successivement : une stratégie a posteriori reposant sur des techniques de réduction de corpus, l'utilisation d'un auto-encodeur basé sur un réseau neuronal (CNN) se concentrant sur les informations linguistiques, et enfin la sélection des phrases les plus courtes. Ces différentes approches sont évaluées de manière objective et subjective.
Enfin, la qualité d'un livre audio mixant signaux de parole naturels et synthétiques est étudiée. Les évaluations montrent que le mélange de signaux synthétiques et naturels est préférable à une vocalisation entièrement synthétique à l'aide d'un système TTS par sélection d'unités. Ce résultat est contraire à ce qui a été rapporté dans la littérature.
Mot clés : Sélection de Script, Génération de Livres Audio Expressifs, Réduction de Voix, Evaluation de la Qualité de Voix de Synthèse, Systèmes de Synthèse de Parole Hybride, Plongements Linguistiques et Acoustiques
Abstract:
The objective of this thesis is the generation of a high quality expressive audio-book, using natural and synthetic speech signals with a minimal recording cost.
The strategy consists on selecting a part of the book and recording its reading to build a voice corpus. This voice is then used for synthesizing the rest of the book using a Text-to-Speech system. Several strategies are successively proposed: a posterior approach using voice reduction methods, a neural network based (CNN) auto-encoder focusing on linguistic information, and then the selection of the shortest utterances. These different approaches are objectively and perceptually evaluated.
Finally, the quality of audio-book mixing natural and synthetic speech signals is evaluated. The evaluations show the mixture of synthetic and natural signals is preferred than fully synthetic signals produced by a unit selection based TTS system.
Keywords: Script Selection, Expressive Audio-book Generation, Voice Reduction, Synthetic Speech Quality Evaluation, Hybrid TTS Systems, Linguistic and Acoustic Embeddings
Composition of the jury
- Frédéric BÉCHET, Professeur à Aix Marseille Université, (rapporteur)
- Slim OUNI, Maître de Conférences-HDR à Université de Lorraine (rapporteur)
- Elisabeth DELAIS-ROUSSARIE, Directrice de recherche CNRS-Université de Nantes, France (examinatrice)
- Sylvain MEIGNIER, Professeur à l’Université du Mans, France (examinateur)
- Damien Lolive, Maitre de Conférence-HDR à l’Université de Rennes 1, France (directeur de thèse)
- Nelly BARBOT, Maître de Conférences à l’Université de Rennes 1 (co-directrice)
- Jonathan CHEVELU, Maître de Conférences à l’Université de Rennes 1 (co-directeur)
- Slim OUNI, Maître de Conférences-HDR à Université de Lorraine (rapporteur)
- Elisabeth DELAIS-ROUSSARIE, Directrice de recherche CNRS-Université de Nantes, France (examinatrice)
- Sylvain MEIGNIER, Professeur à l’Université du Mans, France (examinateur)
- Damien Lolive, Maitre de Conférence-HDR à l’Université de Rennes 1, France (directeur de thèse)
- Nelly BARBOT, Maître de Conférences à l’Université de Rennes 1 (co-directrice)
- Jonathan CHEVELU, Maître de Conférences à l’Université de Rennes 1 (co-directeur)