Die Speicherhierarchie ist eine Organisationsform von Speichern. Ihre Anordnung in verschiedenen Ebenen soll das Speichermanagement erleichtern: Die oberste Ebene ist klein, schnell und teuer, etwa CPU-Register und Cache-Speicher. Danach folgt erst das RAM, dann die Festplatte und schließklich Wechseldatenträger wie DVDs. Die unterste Ebene ist der langsame, große und preiswerte Speicher, zum Beispiel Bandlaufwerke. Ziel ist, mit großen billigen Speichermedien zu arbeiten, aber durch Verschiebung von Datenblöcken in die oberen Schichten wie den Cache-Speicher (Buffer) mit hoher Geschwindigkeit Daten zu bearbeiten oder transferieren.
Auch Datenbanken wenden eine Speicherhierarchie an und teilen die Arbeitsebenen in Geschwindigkeitsstufen auf: Der Primärspeiche ist meist der Arbeitsspeicher, in dem die Datenzugriffe am schnellsten sind, als Sekundärspeicher nutzt die Datenbank Festplatten, und der Tertiärspeicher ist das Archivierungssystem, auf das nur zugegriffen wird, wenn nötig.