Performance d'autres mesures de la qualité de la parole

À présent, pour avoir une idée de la performance des mesures objectives connues de qualité de la parole ; nous avons rassemblé dans cette section quelques données et figures de la littérature pour l'illustration. Les résultats rapportés sont présentés en deux groupes : le premier montre la performance de ces mesures à évaluer la qualité quand seulement les paramètres de codage sont considérés ; dans le second elles sont employées en prenant en compte les paramètres de codage et de réseau. Selon les données disponibles, les mesures comparées sont SNR, SNRseg, BSD, MBSD, EMBSD, PSQM, PSQM+, MNB(1,2), E-modèle et PAMS. Voir la version anglaise, section 3.1, pour plus de détails.

Table: Le coefficient de corrélation de quelques mesures objectives existantes de la qualité de la parole avec MOS. Les résultats sont issus de la littérature. Seuls les paramètres de codages sont considérés. Les sources sont [155, p. 103], [139, p. 84], [113, p. 1517] et [112, p. 10/7].

Les mesures objectives	corrélation avec MOS
SNR	0.226-0.523
SNRseg	0.221-521
BSD	0.367-0.919
PSQM	0.830-0.980
PSQM+	0.874-0.980
MNB2	0.740-.98
PAMS	0.640-0.895
MBSD	0.760
EMBSD	0.870

Dans le cas où ces mesures sont employées pour évaluer seulement les déformations dues aux paramètres de codage (voir le tableau 2), comme nous le voyons, les mesures simples comme SNR et SNRseg donnent une corrélation faible avec les essais subjectifs de qualité (entre 0,226 et 0,523 pour SNR et entre 0,221 et 521 pour SNRseg). MBS, MBSD et EMBSD donnent de meilleurs résultats que SNR ou SNRseg. Pour PSQM et sa version améliorée PSQM+, la performance est meilleure et elle est comparable à celle de PAMS et de MNB. Le coefficient de corrélation peut atteindre jusqu'à 0,98 pour certaines mesures. D'autre part, quand ces mesures sont employées pour évaluer la qualité en tenant compte des effets de réseau de codage, la performance se dégrade. Les seules données disponibles comparant la majorité de ces mesures sont trouvées dans [155, p. 106], voir tableau 3. Cependant, en raison de l'accord de projet, ils n'ont pas indiqué les noms de ces mesures comparées, exceptés MBSD et EMBSD. Nous pouvons voir qu'EMBSD donne un coefficient de corrélation de 0,54 dans ce cas-ci contre 0,87 dans le cas où il est appliqué au cas de codage seulement. La performance de MBSD est très mauvaise, environ 0,24 contre 0,760 pour le cas de codage seulement. La meilleure mesure est celle d'un coefficient de corrélation de 0,90 avec des résultats de MOS. Parmi ces mesures, seulement l'E-modèle de l'UIT n'a pas besoin de l'accès au signal original pour calculer la qualité. Ainsi, c'est la seule mesure disponible qui pourrait théoriquement être employée dans des applications temps réel comme notre méthode. Cependant, utilisée en prenant en compte les effets de codage et de réseau, elle est peu performante : le coefficient de corrélation est environ 0,70 [57]. En outre, le même travail présenté dans [57] compare les performances d'EMBSD, d'E-modèle et de MNB ; les résultats obtenus prouvent que la corrélation avec des données de MOS est très mauvaise comme le montre le tableau 4. Nous montrons également des nuages de points pour MNB2 et E-modèle en comparant les résultats obtenues par ces mesures avec celles de MOS sur les figures 5.11(a) et 5.11(b). Une mesure optimale doit donner de résultats qui corrèlent parfaitement avec le MOS (c.-à-d. tous les résultats devraient être dessinés sur une même ligne). Cependant, de ces deux figures, nous constatons trop de variations : pour la même valeur du MOS, il y a beaucoup de valeurs de ces deux mesures. Par exemple, pour MOS=2.5, le résultat de MNB2 varie de 0,1 à 0,7 (la plage de résultats est de 0 à 1) ; en ce concerne E-modèle, on observe une variation de 20 à 80 (la plage de résultat est 0/100). De même, pour le même résultat de mesure, il y a aussi beaucoup de valeurs de MOS qui peuvent le satisfaire. Par exemple, pour le résultat de MNB2 de 0,4, la valeur correspondante de MOS varie de 1,2 à 4,5 ; et pour le résultat d'E-modè de 80, la valeur de MOS varie de 1,1 à 4,5 (avec l'échelle de notes à 5). Comme nous pouvons voir, ceci réduit de manière significative la confiance de ces mesures pour évaluer la qualité.

Table: Le coefficient de corrélation de quelques mesures objectives existantes de la qualité de la parole avec MOS en considérant les paramètres de codage et de réseau. Les résultats sont issus de la littérature : la source est [155, p. 106]. Les lettres de A à F représentent les mesures objectives de qualité présentées en section 3.1. Le nom de chaque mesure n'a pas été mentionné en raison de l'accord de projet.

Les mesures objectives	corrélation avec MOS
A	0.87
B	0.85
C	0.56
D	0.86
E	0.90
F	0.86
MBSD	0.24
EMBSD	0.54

Table: Les coefficients de corrélation d'EMBSD, de MNB et d'E-model avec MOS en considérant les paramètres de réseau. La source est [57].

Les mesures objectives	corrélation avec MOS
EMBSD	0.38
MNB1	0.51
MNB2	0.54
E-model	0.70