$\zeta$ et $dP$ paramètres pour AM-LM

Pour, l'algorithme AM-LM, il y a deux paramètres ($\zeta$ et $dP$) à choisir, au lieu d'un paramètre ($\eta$) pour la méthode GD. Dans [87], les auteurs ont étudié ce problème et ils ont déterminé par des simulations les plages de valeur idéales de ces paramètres : $\zeta \in [0,85 \, ,0,95]$ et $dP \in [0,1 \, , 0,6]$. Nous allons montrer la performance de cet algorithme une fois adapté au RNN avec ces plages en l'utilisant pour apprendre le premier problème. Pour chaque paire de valeurs, nous avons compté le nombre de fois que l'algorithme converge à une valeur de MSE prédéfinie ( $5\times 10^{-5}$). Pour chaque cas, tout le nombre d'essais est fixé à 100. Nous montrons sur la figure 18 les résultats. Comme nous pouvons voir de ces figures, les valeurs de ces paramètres affectent considérablement la performance de l'algorithme. La meilleure gamme pour $dP$ est [0,4, 0,6]. Cependant, l'impact du $\zeta$ semble être aléatoire et pas facile à caractériser. Nous pouvons également noter que l'impact de $dP$ est plus significatif que celui de $\zeta$. Ainsi, nous suggérons que ce paramètre doit être fixé à 0,90 et qu'on ne change que la valeur de $dP$.

Figure: L'effet de variables $\zeta$ et $dP$ sur la performance de l'algorithme AM-LM pour un RNN. Les résultats sont pour le premier problème.