Comparaison entre ANN et RNN

Dans le contexte de notre problème spécifique, nous comparons les deux types de réseaux de neurones : les réseaux de neurones artificiels (ANN) et les réseaux de neurones aléatoires (RNN). Nous avons employé la boîte à outils de RN MATLAB pour travailler avec les ANN, et un logiciel tournant sous MATLAB [1] pour les RNN. Nous avons observé que le processus d'apprentissage des ANN était relativement plus rapide que celui des RNN (pour surmonter ce problème, nous avons proposé plusieurs algorithmes d'apprentissage pour les RNN dont le but est d'accélérer le processus d'apprentissage, voir la section 1.8). Cependant, pendant la phase d'exécution, les RNN ont surpassé les ANN dans le temps de calcul. Les calculs des ANN sont plus lents parce qu'ils impliquent des calculs de fonctions non linéaires (sigmoïde, tanh, etc.) pour chaque neurone dans l'architecture. Ceci rend les RNN particulièrement attrayants dans des applications avec contraintes en temps réel ou pour des applications légères. Ceci peut être important dans certaines applications en réseaux, par exemple, dans [83], un prédicteur de perte de paquet par les ANN a été proposé pour des flux multimédias temps réel. La précision est bonne, mais le temps de calcul est beaucoup plus long que le délai d'inter-arrivée de paquets. Ceci rend le système inutile à moins de disposer d'ordinateurs très puissants. Un avantage très important des RNN que nous avons trouvé pour notre problème est qu'il capte très bien la relation entre les valeurs des paramètres et la qualité. Ceci concerne également leur capacité à extrapoler d'une manière logique les valeurs de paramètres hors des gammes utilisées pendant la phase d'apprentissage. Les problèmes les plus communs des ANN sont le surentraînement et la sensibilité au nombre de neurones cachés. Le problème de surentraînement fait le RN mémorise les modèles d'apprentissage, mais donne des généralisations faibles pour de nouvelles entrées. D'ailleurs, si nous ne pouvons pas identifier un certain nombre ``quasi optimal'' de neurones cachés, la performance peut être mauvaise. La figure 4.9(b) montre un exemple d'un réseau ANN surentraîné, où nous pouvons voir des irrégularités, c'est-à-dire de mauvaises généralisations. Nous avons entraîné différentes architectures (en changeant le nombre de neurones cachés) pour ANN et RNN, avec les mêmes données (décrites dans la section 1.4.1) et la même valeur d'erreur. Regardons, par exemple, le comportement de la qualité en fonction du débit normalisé (BR) (les autres 4 variables ont été fixés). Dans la BD, le BR varie entre 0,15 et 0,7. Dans les figures 4.10(a) et 4.10(b), nous montrons la capacité des deux types de réseau à interpoler et à extrapoler les résultats quand le BR change de zéro à sa valeur maximale 1. Ces deux figures montrent que les RNN captent correctement la relation entre les variables d'entrée (les paramètres) et la qualité, et que ce model n'est pas très sensible au nombre de neurones cachés ; tandis que les ANN donnent des approximations tout à fait différentes pour de petits changements de la taille dans la couche cachée. Par ailleurs, si l'architecture optimale d'ANN ne pouvait pas être identifiée, son exactitude pourrait être mauvaise. Regardons maintenant les valeurs extrêmes : si BR=0,0, la qualité doit être autour le 1, alors que pour BR=1.0, la qualité doit être entre 8,5 et 9,0. Pour le cas d'ANN, comme représenté sur la figure 4.10(b), quand le nombre de neurones cachés varie de quatre (optimal expérimentalement) à cinq, la généralisation est mauvaise, particulièrement quand le BR tendre à zéro, où le résultat est 3,2 au lieu de 1. Ceci donne à RNN une meilleure capacité à généraliser.

Figure: Le problème de surentraînement en utilisant ANN.

[Un ANN bien entraîné] [Exemple d'un ANN surentraîné]

Figure: La performance d'un ANN et d'un RNN à interpoler et à extrapoler pour des nombres différents des neurones cachés.

[RNN] [ANN]