HBM ist die Abkürzung für den englischen Begriff „High Bandwidth Memory“, was übersetzt „Speicher mit hoher Bandbreite“ bedeutet. Es handelt sich um einen Typ von RAM-Arbeitsspeicher, der darauf ausgelegt ist, dem Prozessor, meist einem Grafikprozessor (GPU) in einem KI-Beschleuniger, Daten viel schneller bereitzustellen als Standard-Speichermodule. Der Schlüssel liegt in ihrer Architektur, bei der mehrere Speicherchips vertikal übereinander gestapelt und mit dem Prozessor über einen sehr breiten Kommunikationsbus verbunden sind. Diese Konstruktion erhöht die Datenbandbreite erheblich, also die Menge an Daten, die pro Zeiteinheit übertragen werden kann. Für Aufgaben der künstlichen Intelligenz, die mit enormen Datenmengen und umfangreichen Modellen arbeiten, ist ein schneller Datenzugriff unerlässlich. Dank HBM muss der leistungsstarke Rechenchip nicht auf Daten aus langsamerem Speicher warten, was dessen volle Auslastung ermöglicht und Prozesse wie das Training neuronaler Netze beschleunigt. Um den Unterschied zu herkömmlichem Gaming-Grafikspeicher zu verstehen, ist ein Vergleich mit GDDR-Speicher (Graphics Double Data Rate), etwa GDDR6 oder GDDR7, hilfreich. GDDR besteht aus einzelnen Chips, die auf der Platine rund um den Grafikkern angeordnet sind, und setzt auf sehr hohe Taktfrequenzen bei einer relativ schmalen Busbreite (typischerweise 32 Bit pro Chip). HBM geht den umgekehrten Weg. Es arbeitet mit niedrigeren Taktraten, überträgt aber dank vertikal gestapelter Chips und eines extrem breiten Busses (1024 Bit oder mehr pro Stack) mehr Daten gleichzeitig. Das Ergebnis ist bei HBM eine deutlich höhere Gesamtdatenbandbreite und ein besseres Leistungs-pro-Watt-Verhältnis, was für Rechenzentren und das KI-Training entscheidend ist. GDDR ist dagegen günstiger, einfacher zu fertigen und in der Kapazität leichter zu skalieren, weshalb es bei Gaming- und Consumer-Grafikkarten überwiegt.
