Les microprocesseurs superscalaires étudiés peuvent exécuter quatre instructions par cycle voire davantage. Fournir les instructions et les données à un rythme suffisant est une tâche confiée au système mémoire. Ceci est de plus en plus difficile à réaliser à chaque nouvelle génération de microprocesseurs, car les performances des unités centrales doublent tous les 18-24 mois, alors que les temps d'accès et de cycle (respectivement 60 et 100 ns actuellement) des composants DRAM qui constituent la mémoire principale ne diminuent que de quelques pour cent chaque année. De plus, le temps d'accès à une mémoire principale inclut la traversée de plusieurs couches de logique. Le temps d'accès à un mot aléatoire en mémoire principale est souvent de l'ordre de 150 à 300 ns. Même si le débit de la mémoire peut être très élevé, ce temps d'accès, considérable par rapport aux temps de cycle des microprocesseurs étudiés, doit être masqué.
La mise en oeuvre entre le microprocesseur et la mémoire principale de mécanismes masquant la latence de cette mémoire est la clé des performances. Plusieurs niveaux de caches sont désormais utilisés sur les microprocesseurs.
Depuis que l'évolution des possibilités d'intégration a permis l'implantation de ces caches sur la même puce que l'UC, la plupart des microprocesseurs fonctionnent avec de plus un second niveau de cache externe. Ces caches externes sont obligatoires sur les trois microprocesseurs considérés, le cache externe du PentiumPro étant même intégré au sein du même MCM (MultiChip Module) que le processeur.
Afin de limiter au maximum la pénalité sur les défauts des différents caches, ces microprocesseurs intègrent d'autres mécanismes destinés à masquer le plus possible la latence du sous-système mémoire. En particulier, les caches de données des trois microprocesseurs étudiés sont non-bloquants.
Dans ce chapitre nous décrivons de manière globale les hiérarchies mémoires des trois microprocesseurs ainsi que les différentes solutions mises en oeuvre pour masquer la latence de l'accès à la mémoire principale.