Évaluation des performances des algorithmes proposés

Dans cette section, nous fournissons les résultats expérimentaux obtenus pour évaluer les algorithmes proposés et nous les comparons avec ceux obtenus pour l'algorithme GD. Nous avons employé deux problèmes qui ont été déjà utilisés dans [1] pour la validation  : le problème de XOR est également considéré. La description de ces problèmes est donnée dans la partie anglaise, la section 10.5. Nous avons mis en application les algorithmes proposés en MATLAB. Pendant l'évaluation des ces algorithmes, nous avons noté que quand nous permettons des valeurs négatives pour les poids, nous obtenons de meilleurs résultats. Ainsi, pour traiter ce point, nous avons considéré trois procédures différentes quand un poids négatif est produit. Dans la première, chaque fois qu'il y a une valeur négative du poids, nous l'avons simplement mis à zéro. La seconde suit les proposition dans [87]. Pour s'assurer que les poids sont toujours positifs, l'équation suivante est employée $p^2=w_{i,j}$. Dans le troisième cas, nous autorisons les poids négatifs. Par conséquent, nous fournissons une étude comparative pour ces cas. Dans l'analyse, les figures et les tableaux suivants, nous employons ces abréviations :

GD :

la méthode du gradient, algorithme de base, comme proposé dans [1].

LM :

l'algorithme de Levenberg-Marquardt sans contrainte sur les poids (ils peuvent être négatifs).

LM1 :

l'algorithme de LM avec la contrainte de positivité sur les poids : une fois qu'une valeur négative de n'importe quel poids est produite, nous la mettons simplement à zéro.

LM2 :

l'algorithme de LM avec la contrainte de positivité sur les poids, en employant $p^2=w_{i,j}$ et en modifiant les dérivés des équations.

AM-LM :

l'algorithme de LM avec adaptative momentum sans contrainte sur les poids.