Essai du taux de succès et de la performance

Nous avons effectué deux expériences pour examiner le taux de succès et la performance des algorithmes. Nous avons limité le nombre maximum des itérations à 100. Chaque fois que l'algorithme converge, le temps et l'erreur sont stockés. Pour chaque algorithme, dans les premier et deuxième problèmes, le taux de succès, les statistiques du nombre d'itérations, les statistiques du temps exigé et les statistiques de MSE atteint (le minimum, le maximum, l'écart type et la moyenne) sont calculés. Les résultats sont donnés dans les tableaux 10.1 et 10.2 respectivement pour le premier et le deuxième problèmes. Pour l'algorithme AM-LM, nous avons fixé $dP=0,6$ et $\zeta=0,90$. Comme nous pouvons voir au tableau 10.1, les algorithmes LM et GD donnent approximativement le même taux de succès ; mais, LM converge en moins d'itérations et de temps. Les temps minimum et maximum nécessaires pour LM sont 0,33 et 3,58 avec une moyenne de 1,15 s contre 2,92 et 13,94 avec une moyenne de 8,63 s pour GD. Cependant, en appliquant la contrainte de positivité sur poids dans LM, la performance se dégrade significativement. En ce qui concerne l'algorithme AM-LM, il donne les meilleurs résultats parmi l'ensemble des techniques. Le taux de succès est de 99%. En outre, le temps et les itérations exigés sont les meilleurs. La moyenne du temps nécessaire est 0,67s contre 8,63s, 1,15s, 14,25s respectivement pour GD, LM et LM2. Nous pouvons noter également qu'AM-LM peut converger en une seule itération contre 21, 2 et 48 itérations pour GD, LM et LM2 respectivement. Concernant l'erreur, quelques fois LM et AM-LM peuvent converger vers une erreur nulle. Il faut mentionner qu'AM-LM ne fonctionne pas pour le cas d'une topologie complètement connectée (comme dans le cas du deuxième problème). Ainsi, nous ne fournissons pas les résultats dans ce cas. Nous pouvons noter dans le tableau 6 que LM converge toutes les fois (100% de succès). La convergence de GD est très pauvre, seulement 22% de succès. En outre, pour LM sans contraintes de positivité sur les poids, les résultats sont meilleurs que dans tous les autres cas (LM1 et LM2). Cependant, la performance est meilleure que celle de GD. LM peut converger dans seulement 5 itérations contre 64, 9 et 38 itérations pour GD, LM1 et LM2 respectivement. D'ailleurs, LM prend moins de temps à converger (environ 1,05s en moyenne contre 9,56s, 3,78s et 9,40s pour GD, LM1 et LM2 respectivement). De même, les niveaux d'erreur sont les minimaux dans le cas de LM.

Table: Comparaison entre GD, LM, LM2 et AM-LM pour le premier problème .

	GD	LM	LM2	AM-LM
Succès	81	83	50	99
Min(itérations)	21	2	48	1
Max(itérations)	97	24	100	6
Moyen(itérations)	60.27	7.14	82.52	2.83
Std(itérations)	21.26	4.85	12.01	0.95
Min(temps)(s)	2.92	0.33	8.4	0.22
Max(temps)(s)	13.94	3.58	17.57	1.70
Moyen(temps)(s)	8.63	1.15	14.25	0.67
Std(temps)	3.06	0.72	3.06	0.31
Min(erreurs)	$3.0537\times 10^{-5}$	0	$4.7736 \times 10^{-5}$	0
Max(erreurs)	$4.9987\times 10^{-5}$	$4.9293 \times 10^{-5}$	$4.9991 \times 10^{-5}$	$3.8730\times 10^{-5}$
Moyen(erreurs)	$4.8643\times 10^{-5}$	$2.4402\times 10^{-5}$	$4.9153 \times 10^{-5}$	$1.0993\times 10^{-6}$
Std(erreurs)	$2.2703\times 10^{-6}$	$1.7641\times 10^{-5}$	$5.6558 \times 10^{-7}$	$5.0233\times 10^{-5}$

Table: Comparaison entre GD, LM, LM1 et LM2 pour le deuxièmes problème.

	GD	LM	LM1	LM2
Succès	22	100	95	84
Min(itérations)	64	5	9	38
Max(itérations)	100	9	34	78
Moyen(itérations)	86.45	5.48	18.51	56.32
Std(itérations)	11.76	0.88	4.93	9.27
Min(temps)(s)	5.84	0.54	0.94	4.35
Max(temps)(s)	9.56	1.05	3.78	9.40
Moyen(temps)(s)	8.14	0.67	2.05	6.69
Std(temps)	1.12	0.10	0.53	1.17
Min(erreurs)	$3.3503\times 10^{-7}$	$4.6590\times 10^{-9}$	$5.3220\times 10^{-8}$	$2.8499\times 10^{-7}$
Max(erreurs)	$3.9810\times 10^{-7}$	$3.8989\times 10^{-7}$	$3.9886\times 10^{-7}$	$3.9001\times 10^{-7}$
Moyen(erreurs)	$3.7638\times 10^{-7}$	$1.1062\times 10^{-7}$	$3.1342\times 10^{-7}$	$3.6046\times 10^{-7}$
Std(erreurs)	$1.8052\times 10^{-8}$	$8.2365\times 10^{-8}$	$6.5777\times 10^{-8}$	$2.5932\times 10^{-8}$