HBM2 ist die Abkürzung für „High Bandwidth Memory 2“, was übersetzt „Speicher mit hoher Bandbreite“ bedeutet. Es handelt sich um einen Typ von Arbeitsspeicher, der sich durch eine spezifische Architektur auszeichnet. Im Gegensatz zu herkömmlichen Speichermodulen wie DDR4 werden bei HBM2 die einzelnen Speicherchips vertikal übereinander in einem einzigen Gehäuse gestapelt. Diese Anordnung ermöglicht die Schaffung eines extrem breiten Datenbusses, welcher der Pfad ist, auf dem Daten zwischen dem Speicher und dem Prozessor fließen. Dadurch kann der HBM2-Speicher in kurzer Zeit riesige Datenmengen übertragen. Die Speicherchips sind außerdem sehr nah am Hauptrechenchip, zum Beispiel einem Grafikprozessor, auf einer gemeinsamen Siliziumgrundplatte, genannt „Interposer“, platziert. Diese Nähe reduziert die Strecke, die Daten zurücklegen müssen, was zu einem geringeren Energieverbrauch und schnellerer Kommunikation führt. In KI-Beschleunigern und Workstations verhindert dies, dass der leistungsstarke Prozessor auf Daten warten muss, und maximiert so dessen Auslastung bei anspruchsvollen Berechnungen wie dem Training neuronaler Netze. Um den Unterschied zu herkömmlichem Gaming-Grafikspeicher zu verstehen, ist ein Vergleich mit GDDR-Speicher (Graphics Double Data Rate), etwa GDDR6 oder GDDR7, hilfreich. GDDR besteht aus einzelnen Chips, die auf der Platine rund um den Grafikkern angeordnet sind, und setzt auf sehr hohe Taktfrequenzen bei einer relativ schmalen Busbreite (typischerweise 32 Bit pro Chip). Speicher der HBM-Familie gehen den umgekehrten Weg. Sie arbeiten mit niedrigeren Taktraten, übertragen aber dank vertikal gestapelter Chips und eines extrem breiten Busses (1024 Bit oder mehr pro Stack) mehr Daten gleichzeitig. Das Ergebnis ist bei HBM eine deutlich höhere Gesamtdatenbandbreite und ein besseres Leistungs-pro-Watt-Verhältnis, was für Rechenzentren und das KI-Training entscheidend ist. GDDR ist dagegen günstiger, einfacher zu fertigen und in der Kapazität leichter zu skalieren, weshalb es bei Gaming- und Consumer-Grafikkarten überwiegt.
