| |
Méthodologie d’évaluation de systèmes
oraux de dialogue
Localisation : IRISA, Lannion
Equipe(s) : CORDIAL
Responsable(s) : Jacques SIROUX (tél. : 02 96 46
50 30, email : siroux@enssat.fr)
Mots-clés : évaluation, communication personne-machine,
génération de test.
Financement : bourse MENRT (selon classement)
Actuellement la mise au point de nombreux systèmes oraux
de dialogue fondés sur des approches très
diverses nécessite des évaluations afin d’une
part de comparer les approches sous différents aspects et
d’autre
part de mesurer la qualité globale de l’interaction.
La complexité des systèmes, le contexte oral ainsi
que le
rôle essentiel des utilisateurs font qu’il n’existe
pas encore de méthodologie complète d’évaluation.
Le sujet
de la thèse consiste :
- à mener une étude sur la méthode DCR d’autoévaluation
ainsi que sur les travaux du LIMSI et
d’AT&T (ces derniers sont fondés sur une approche
analyse de données). Cette étude devra prendre
en compte notamment les aspects dialogiques et l’application
;
- à concevoir et mettre en oeuvre une méthodologie
complète d’évaluation suffisamment souple pour
pouvoir s’adapter à des systèmes, des applications
et des critères différents et qui doit permettre
la
possibilité de générer automatiquement des
séquences de test.
Bibliographie.
[WALK97]M. Walker, D. Litman, C. Kamm et A. Abella. PARADISE: A
Framework for Evaluating Spoken
Dialogue Agents. Proceedings of 8th Conference of the European Chapter
of the Association for Computa-tional
Linguistics, Madrid, 7-12 July 1997, p. 271-280.
[Antoine00] J.-Y Antoine, J. Siroux, J. Caelen, J. Villaneau, J.
Goulian, M. Ahafhaf. Obtaining Predictive
Results with an Objective Evaluation of Spoken Dialogue Systems:
Experiments with the DCR assessment
Paradigm, Proceedings of the Second International Conference on
Language Resources and Evaluation,p.
713-720, Athènes, 2000.
|
