• Autor: Peter Vnuk
Zwei KI-Systeme mit demselben Beschleunigertyp können sich im realen Betrieb sehr unterschiedlich verhalten. Eine vorab getestete Konfiguration hilft dabei, bereits vor dem Kauf die Kompatibilität, die tatsächliche Leistung sowie die Grenzen eines konkreten Workloads zu überprüfen, und verringert das Risiko einer kostspieligen Abstimmung nach der Lieferung der Hardware.
Beim Kauf einer KI-Infrastruktur verleiten vor allem die Anzahl der GPUs, die Speicherkapazität oder die Leistung in PFLOPS zu einem schnellen Vergleich. Aus diesen Parametern lässt sich das Verhalten einer konkreten Anwendung jedoch nur schwer abschätzen. Für ein Unternehmen ist letztlich entscheidend, wie schnell das System zu antworten beginnt, wie viele Personen es gleichzeitig nutzen können und ob das gewählte Modell den benötigten Kontext bewältigt. Nicht weniger wichtig ist die Zeit, die das technische Team für die eigentliche Inbetriebnahme der Umgebung benötigt.
Aus dem Unterschied zwischen den Parametern im Datenblatt und dem tatsächlichen Betrieb ergibt sich das Konzept Validated AI. Die Konfiguration wird hierbei als abgestimmtes Gesamtsystem betrachtet, sodass neben der Hardware auch das Betriebssystem und die Softwareumgebung für die Arbeit mit Modellen eine Rolle spielen. Eine fortschrittlichere Form der Überprüfung berücksichtigt zudem ein konkretes Einsatzszenario, beispielsweise lokale Inferenz, RAG auf Basis von Unternehmensdokumenten, die Entwicklung von Agenten oder Fine-Tuning.
Je stärker der Test dem späteren Betrieb entspricht, desto weniger Raum bleibt für unangenehme Überraschungen nach dem Kauf. Die bloße Bezeichnung „KI-Workstation“ sagt in erster Linie aus, zu welcher Produktkategorie das System gehört. Eine ausführliche Dokumentation kann hingegen die unterstützte Software, die Größenklasse der Modelle sowie die Grenzen beschreiben, die sich aus dem Speicher und der erwarteten Bereitstellungsart ergeben.
Was Sie in diesem Artikel erfahren:
Unter einem einzigen Begriff verbergen sich bei der KI-Infrastruktur mehrere unterschiedliche Prüfstufen, sodass das Wort „validiert“ allein noch nicht genügend Informationen für eine Kaufentscheidung liefert.
Eine konkrete Form einer solchen Überprüfung zeigt das Programm NVIDIA-Certified Systems, bei dem die Systeme definierte Tests und Bewertungen durchlaufen. Bei der Plattform Grace Blackwell GB10 gehören beispielsweise der ASUS Ascent GX10 und der Dell Pro Max mit GB10 zu den validierten Konfigurationen, die NVIDIA ausdrücklich in seiner Liste zertifizierter Systeme aufführt.
Aus Unternehmenssicht sind daher vor allem die Bedingungen entscheidend, unter denen die Überprüfung durchgeführt wurde. Das Ergebnis hat einen anderen Aussagewert, wenn lediglich das Modell selbst getestet wurde, als wenn die gesamte Anwendung gemessen wurde. Die Kontextlänge oder die Anzahl paralleler Anfragen können das Verhalten des Systems zudem so stark verändern, dass ein ansonsten korrekter Benchmark für ein konkretes Projekt nur noch wenig aussagekräftig ist.
Prüfstufen einer KI-Konfiguration
| Prüfstufe | Was sie typischerweise bestätigt | Praktische Auswirkung |
|---|---|---|
| Kompatibilität | Eine unterstützte Kombination aus Hardware, Treibern und Software | Geringeres Risiko von Problemen bei der Installation |
| Vorkonfigurierte Plattform | Abgestimmte Hardware, Betriebssystem und KI-Stack | Schnellerer Weg zum ersten Pilotprojekt |
| Referenzarchitektur | Empfohlene Konfiguration und Art der Bereitstellung | Präzisere Grundlage für die Planung der Infrastruktur |
| Workload-Validierung | Verhalten des Systems bei einer konkreten Aufgabe oder mit einem bestimmten Modell | Bessere Einschätzung der Leistung und der Betriebsgrenzen |
| Zertifiziertes System | Erfüllung der Regeln eines definierten Herstellerprogramms | Klarer abgegrenzte Konfiguration und Support |
Die Qualität einer Validierung lässt sich am schnellsten daran erkennen, ob sich die konkreten Messbedingungen nachvollziehen lassen. Wenn die Dokumentation lediglich eine allgemeine Bezeichnung wie „AI-ready“ oder die maximale Leistung in PFLOPS nennt, bleiben die meisten praktischen Fragen unbeantwortet. Der Kunde weiß weiterhin nicht, welche Software unterstützt wird, für welche Art von Aufgabe die Konfiguration vorbereitet wurde und wo ihre tatsächliche Grenze liegt.
Ebenso wichtig ist die Ähnlichkeit des Tests mit der geplanten Last. Das Ergebnis eines kurzen isolierten Testlaufs kann im Teambetrieb schnell an Aussagekraft verlieren, da sich mit zunehmender Parallelität und Kontextlänge sowohl die Speicheranforderungen als auch die Reaktionszeit verändern. Der Wert eines Tests steigt daher mit der Genauigkeit, mit der er den erwarteten Betrieb nachbildet.
Warnsignale für eine schwach belegte Validierung
| Warnsignal | Was fehlt | Was Sie überprüfen sollten |
|---|---|---|
| Es werden nur maximale PFLOPS oder TOPS angegeben | Bezug zu einer konkreten Anwendung | Modell, Präzision und Messbedingungen |
| Das System wird als AI-ready bezeichnet | Umfang der tatsächlichen Überprüfung | Unterstützter Stack und Ziel-Workloads |
| Der Benchmark arbeitet mit einem kurzen Prompt | Realistische Kontextlänge | Test mit ähnlichen Eingaben wie in der Produktion |
| Das Ergebnis gilt für einen einzelnen Benutzer | Verhalten bei paralleler Nutzung | Lasttest mit der erwarteten Spitzenauslastung |
| Die Software wird erst nach dem Kauf ausgewählt | Geprüfte Kompatibilität | Versionen von Betriebssystem, Treibern, Bibliotheken und Runtime |
| Niemand kann die Grenze des Systems beschreiben | Kapazitätsrahmen | Speicher, Latenz und Lastwachstum |
Sobald sich der Test von den tabellarischen Parametern hin zu einem konkreten KI-Dienst verlagert, macht sich der übrige Teil des Systems wesentlich stärker bemerkbar. Ein Sprachmodell benötigt im Speicher Platz für seine Gewichte, und während der Inferenz kommen weitere Anforderungen hinzu, die mit dem Kontext oder der Bearbeitung gleichzeitiger Anfragen zusammenhängen. Längere Dokumente oder eine höhere Anzahl an Benutzern können daher die verfügbare Reserve erschöpfen, bevor sich die theoretische Rechenleistung des Beschleunigers vollständig entfalten kann.
Ebenso deutlich kann die Software das Ergebnis verändern – eine andere Version des Treibers oder der Inferenz-Engine kann Geschwindigkeit und Stabilität beeinflussen. Weitere Unterschiede entstehen durch die gewählte Quantisierung oder die Art der Cache-Nutzung. Zwei Systeme mit ähnlicher Hardware können sich daher in derselben Anwendung überraschend unterschiedlich verhalten, wobei der Produktionsbetrieb zusätzlich eine langfristige Last überprüft, die ein kurzer Benchmark häufig nicht erfasst.
Eine vorab getestete Konfiguration kann einen Teil dieser Unsicherheit bereits vor der Bereitstellung reduzieren. Das technische Team erhält einen bekannten Ausgangspunkt und kann die eigenen Tests auf Unternehmensdaten, das Verhalten der konkreten Anwendung und die Belastung während realer Betriebsspitzen konzentrieren.
Bei einer KI-Infrastruktur bildet der Beschleuniger nur eine Schicht des Systems, über der sich eine ganze Kette weiterer Abhängigkeiten fortsetzt. Treiber und Systembibliotheken müssen ordnungsgemäß mit dem Framework, der Inferenz-Runtime und den Werkzeugen zur Modellverwaltung zusammenarbeiten. Ein Fehler in einem beliebigen Teil kann das Projekt noch vor dem ersten brauchbaren Test verzögern oder die Leistung verringern, die das Unternehmen tatsächlich aus der teuren Hardware herausholt.
Für kleinere Teams ist ein vorbereiteter KI-Stack besonders wertvoll, wenn sie den ersten Anwendungsfall schnell überprüfen möchten. Die Wochen, die für den Aufbau der grundlegenden Umgebung aufgewendet werden, haben ihren eigenen Preis, da das Entwicklungsteam dieselbe Zeit für die Integration oder die Arbeit an der eigentlichen Anwendung hätte nutzen können.
Eine konkrete Form einer solchen Abstimmung lässt sich anhand kompakter Systeme mit NVIDIA GB10 Grace Blackwell zeigen. NVIDIA DGX Spark 4TB, der bereits erwähnte Dell Pro Max mit GB10 FCM1253 oder der ASUS Ascent GX10 kombinieren die jeweilige Plattform mit einer vorbereiteten Softwareumgebung für die Entwicklung und lokale Arbeit mit KI. Für die Plattform DGX Spark selbst nennt NVIDIA 128 GB Unified Memory, eine Leistung von bis zu 1 PFLOP bei FP4 sowie die Unterstützung von Modellen mit bis zu 200 Milliarden Parametern.
Die Bedeutung dieser Parameter zeigt sich erst in einer konkreten Bereitstellung, da dieselbe Plattform während der Entwicklung anders eingesetzt werden kann als bei einer regelmäßigen lokalen Inferenz. Die Art der Nutzung entscheidet dann darüber, ob das System eine Umgebung für ein Pilotprojekt bleibt oder auch einen Teil der langfristigen Arbeit des Teams übernimmt.
i
Was bei einer vorab getesteten Plattform nachvollziehbar sein sollte
Vor dem Kauf sollten die genaue Hardwarekonfiguration, das unterstützte Betriebssystem und die Versionen der wichtigsten Softwareschichten bekannt sein. Leistungsergebnisse benötigen einen ähnlichen Kontext: Ohne Angaben zum verwendeten Modell, zur Präzision und zur Art der Last lassen sie sich nur schwer in die Kapazitätsplanung übertragen.
Wenn ein Unternehmen eine eigene Umgebung für die Entwicklung und regelmäßige lokale Inferenz benötigt, können Systeme der GB10-Klasse mehrere Projektphasen auf einem einzigen Gerät abdecken. Das Team kann darauf offene Modelle überprüfen, Prototypen mit internen Daten entwickeln und später eine stabile Last betreiben, die es nicht jedes Mal an einen externen Dienst senden möchte.
Eine Plattform dieser Klasse ist vor allem für Szenarien vorgesehen, die aufgrund der Speicheranforderungen größerer Modelle nicht komfortabel auf eine gewöhnliche Workstation passen. Die angegebenen 200 Milliarden Parameter stellen jedoch nur eine Orientierungsgrenze dar, da sich die tatsächlichen Anforderungen je nach Quantisierung, Kontextlänge und Art der Inferenzverarbeitung durch die Anwendung verändern.
Sobald die Modelle und die Kontextlänge wachsen oder sich das Projekt in Richtung eines anspruchsvolleren Fine-Tunings weiterentwickelt, verändert sich zusammen mit den Leistungsanforderungen auch die Rolle des gesamten Systems. Aus einem persönlichen Gerät oder einem Teamgerät wird schrittweise ein gemeinsam genutzter Rechenknoten, der sich in den umfassenderen Unternehmensbetrieb einfügen muss. Dadurch gewinnen die Netzwerkkonnektivität und die Art der Verteilung der verfügbaren Ressourcen auf mehrere Benutzer an Bedeutung.
In diese Leistungskategorie fallen Systeme mit NVIDIA GB300 Grace Blackwell Ultra , beispielsweise GIGABYTE W775 oder ASUS ExpertCenter Pro ET900N G3. Die Plattform DGX Station mit GB300 bietet bis zu 748 GB kohärenten Speicher und eine Leistung von bis zu 20 PFLOPS FP4, wobei NVIDIA sie mit der Arbeit an Modellen mit bis zu einer Billion Parametern verbindet.
Die Entscheidung zwischen den einzelnen Klassen sollte daher auf der realen Nutzung und dem erwarteten Wachstum basieren. Ein kleineres Team kann eine kompakte Plattform besser auslasten als ein teureres System mit einer großen Reserve. Wenn bereits das Pilotprojekt an Speichergrenzen stößt oder für das Projekt ein klarer Ausbauplan besteht, sollte die benötigte Reserve von Anfang an Teil der Planung sein.
Tabelle 3: Vergleich der wichtigsten Klassen von KI-Infrastrukturen
| Systemklasse | Speicherklasse | KI-Leistung | Ungefähre Modellgröße | Typische Verwendung |
|---|---|---|---|---|
| GB10-/DGX-Spark-Klasse | 128 GB Unified Memory | Bis zu 1 PFLOP FP4 | Bis zu 200 Mrd. Parameter | Lokale Entwicklung, Inferenz, Agenten, Pilotprojekte und Szenarien für kleinere Teams |
| GB300-/DGX-Station-Klasse | 748 GB kohärenter Speicher | Bis zu 20 PFLOPS FP4 | Bis zu 1 Billion Parameter | Größere Modelle, anspruchsvollere Inferenz, Fine-Tuning und gemeinsam genutzte Rechenleistung |
| Klassische Workstation mit RTX-GPU | Abhängig von der konkreten Konfiguration | Abhängig von der verwendeten GPU | Abhängig von VRAM, Quantisierung und Workload | Professionelle Anwendungen in Kombination mit lokaler KI |
| Serverinfrastruktur | Je nach Auslegung | Abhängig von Anzahl und Typ der Beschleuniger | Abhängig von der Lösungsarchitektur | Produktionsdienste für mehrere Teams und höhere Anforderungen an die Verfügbarkeit |
Die Angaben zur maximalen Modellgröße stellen eine Orientierungsgrenze der jeweiligen Plattform dar. Die reale Bereitstellung wird durch die Präzision des Modells, die Quantisierung, die Kontextlänge, die Parallelität sowie die Art des Workloads beeinflusst.
Warum ein Benchmark des Modells allein häufig nicht ausreicht, zeigt anschaulich ein Unternehmensassistent, der auf internen Dokumenten basiert. RAG, also Retrieval-Augmented Generation, sucht vor der Erstellung einer Antwort zunächst nach relevanten Informationen in den Unternehmensquellen und übergibt diese erst anschließend an das Modell. Die Leistung des resultierenden Dienstes hängt daher vom gesamten Datenpfad ab.
Eine einzelne Benutzeranfrage kann zunächst in ein Embedding umgewandelt und anschließend zur Suche nach geeigneten Passagen in der Datenbank verwendet werden. Danach folgen deren Sortierung nach Relevanz und die Zusammenstellung des Kontexts für das Modell. Gleichzeitig fließen Berechtigungen in das Ergebnis ein, die festlegen, auf welche Unterlagen ein bestimmter Benutzer zugreifen darf. Bei langen Dokumenten steigt zudem der Speicherdruck und der Weg bis zur fertigen Antwort verlängert sich.
Die Validierung für ein solches Szenario muss daher mit ähnlichen Eingaben arbeiten, wie sie nach der Bereitstellung erwartet werden. Wenn ein Produktionsdienst lange Dokumente und mehrere Benutzer gleichzeitig verarbeitet, zeigt ein Benchmark mit einem kurzen Prompt nur einen kleinen Teil des tatsächlichen Systemverhaltens.
!
Wenn ein Produktionsdienst lange Dokumente und mehrere Benutzer gleichzeitig verarbeitet, zeigt ein Benchmark mit einem kurzen Prompt nur einen kleinen Teil des tatsächlichen Systemverhaltens.
Auch beim Vergleich von Benchmarks muss bekannt sein, unter welchen Bedingungen der gemessene Wert entstanden ist. Die Geschwindigkeit in Token pro Sekunde verändert sich je nach verwendetem Modell und Rechengenauigkeit. Bei einer längeren Eingabe oder einer höheren Parallelität verschiebt sich das Verhalten des Systems erneut, sodass zwei korrekte Messungen unterschiedliche Ergebnisse liefern können, ohne sich gegenseitig zu widersprechen.
Bei einem interaktiven Dienst reicht es zudem nicht aus, nur die Generierungsgeschwindigkeit nach dem Beginn der Antwort zu betrachten. Für Benutzer ist auch die TTFT spürbar, also die Zeit bis zum ersten Token, da langes Warten auf den Beginn der Reaktion die tägliche Arbeit verlangsamt. Die P95- und P99-Latenz zeigen wiederum den langsameren Teil der Anfragen, den ein gewöhnlicher Durchschnitt leicht verdeckt und der häufig während einer Lastspitze sichtbar wird.
Tabelle 4: Kennzahlen zur Bewertung der Leistung eines KI-Dienstes
| Kennzahl | Was sie zeigt | Wie sie in der Praxis zu interpretieren ist |
|---|---|---|
| TTFT | Zeit bis zum ersten sichtbaren Teil der Antwort | Beeinflusst die wahrgenommene Reaktionsgeschwindigkeit des Dienstes |
| Token/s | Geschwindigkeit der Ausgabegenerierung | Hilft bei der Bewertung des Benutzerkomforts und der Kapazität |
| P95-/P99-Latenz | Reaktionszeit des langsameren Teils der Anfragen | Zeigt das Verhalten während Lastspitzen besser als der Durchschnitt |
| Speicherauslastung | Reserve für das Modell, den Kontext und weitere Anfragen | Zeigt häufig die praktische Grenze des Systems |
| Kontextlänge | Informationsmenge, die während der Antwort vorgehalten wird | Beeinflusst sowohl den Speicher als auch die Geschwindigkeit |
| Parallelität | Anzahl der parallel bearbeiteten Anfragen | Bestimmt die Nutzbarkeit im Teambetrieb |
Erst die Verknüpfung dieser Kennzahlen mit dem geplanten Betrieb zeigt, ob die gemessene Leistung für das Unternehmen einen tatsächlichen Wert besitzt. Technische Ergebnisse führen damit ganz natürlich zu praktischen Fragen, die noch vor der Auswahl einer konkreten Konfiguration geklärt werden sollten.
Vor der Auswahl sollten Sie den wichtigsten Workload kennen, den das System verarbeiten soll, das infrage kommende Modell oder die Größenklasse der Modelle, die typische Länge von Eingaben und Antworten, die Anzahl der Anfragen während Lastspitzen, die für Benutzer akzeptable Reaktionszeit, die Sensibilität der in Prompts und Protokolle einfließenden Daten, die Zuständigkeit für Aktualisierungen und Monitoring sowie das erwartete Nutzungswachstum in den kommenden 12 bis 24 Monaten.
Ein Sprachmodell benötigt im Speicher Platz für seine Gewichte, und während der Inferenz kommen weitere Anforderungen hinzu, die mit dem Kontext oder der Bearbeitung gleichzeitiger Anfragen zusammenhängen. Ebenso deutlich kann die Software das Ergebnis verändern – eine andere Version des Treibers oder der Inferenz-Engine kann Geschwindigkeit und Stabilität beeinflussen, und weitere Unterschiede entstehen durch die gewählte Quantisierung oder die Art der Cache-Nutzung.
TTFT bezeichnet die Zeit bis zum ersten Token – also bis zum ersten sichtbaren Teil der Antwort. Für Benutzer ist sie spürbar, da langes Warten auf den Beginn der Reaktion die tägliche Arbeit verlangsamt. Bei einem interaktiven Dienst reicht es daher nicht aus, nur die Generierungsgeschwindigkeit nach dem Beginn der Antwort zu betrachten.
Ein Unternehmensassistent, der auf internen Dokumenten basiert und nach dem RAG-Prinzip arbeitet, durchläuft vor der Antwort den gesamten Datenpfad – die Umwandlung in ein Embedding, die Suche nach Passagen, deren Sortierung und die Zusammenstellung des Kontexts für das Modell. Die Leistung des resultierenden Dienstes hängt daher von der gesamten Kette und nicht nur von der Geschwindigkeit des Modells selbst ab.
Systeme der GB10-Klasse decken die lokale Entwicklung, Inferenz, Agenten und Pilotprojekte kleinerer Teams ab. Sobald die Modelle und die Kontextlänge wachsen oder sich das Projekt in Richtung eines anspruchsvolleren Fine-Tunings und eines gemeinsam genutzten Betriebs für mehrere Benutzer weiterentwickelt, kommt eine höhere Klasse wie Systeme mit GB300 Grace Blackwell Ultra zum Einsatz.
Der größte Vorteil einer vorab getesteten Konfiguration zeigt sich, sobald ein Unternehmen seine Aufgabe bereits relativ präzise beschreiben kann. Die Kenntnis des geplanten Modells und des Datentyps ermöglicht es, eine Leistung zu messen, die für das jeweilige Projekt tatsächlich relevant ist, und gleichzeitig die erforderliche Reserve für weiteres Wachstum besser abzuschätzen.
In einer frühen Projektphase kann es vorteilhaft sein, die ersten Experimente in der Cloud durchzuführen, wo sich sowohl die Modelle als auch die verfügbare Kapazität leicht ändern lassen. Wiederholte Belastung liefert anschließend die Grundlage für Überlegungen zu einer eigenen Infrastruktur. Sobald das Team die realen Betriebsspitzen und das ungefähre Arbeitsvolumen kennt, basiert die Auswahl einer vorab getesteten Plattform auf konkreteren Daten.
Bei Projekten mit sensiblen Informationen kommt zur Leistung auch die Frage der Kontrolle über den Fluss von Dokumenten, Prompts und Betriebsprotokollen hinzu. Die Validierung des Systems allein löst die Sicherheitsfrage nicht, da diese weiterhin von der Gestaltung der Anwendung und den Zugriffsregeln des Unternehmens abhängt. Eine vorhersehbare Hardware- und Softwareumgebung bietet dem Team jedoch eine stabilere Grundlage, auf der es diese Maßnahmen aufbauen kann.
i
Wo sich der größte Arbeitsaufwand einsparen lässt
Die größte Einsparung entsteht gewöhnlich noch vor der Produktionsbereitstellung. Eine bekannte und unterstützte Kombination aus Hardware und Softwareumgebung ermöglicht es dem Team, früher mit der Messung der tatsächlichen Lösung im Unternehmensbetrieb zu beginnen. Die Zeit kann somit der Qualität der Dokumente, typischen Anfragen, dem Benutzerverhalten und den Sicherheitsregeln gewidmet werden, statt grundlegende Kompatibilitätsprobleme zu suchen.
Vor der Bestellung eines KI-Systems müssen der konkrete Workload, der Umfang der Überprüfung und die Bedingungen bekannt sein, unter denen die angegebenen Leistungsergebnisse entstanden sind. Ihre Kombination zeigt, ob die Dokumentation eine brauchbare Grundlage für den geplanten Dienst liefert oder wesentliche Fragen erst den eigenen Tests nach dem Kauf überlässt. Eine gut dokumentierte Validierung spart dabei vor allem die Zeit des technischen Teams, das sich nach der Lieferung früher der Messung, Integration und dem Verhalten der Lösung in der Unternehmensumgebung widmen kann. Fehlt eine Beschreibung des Tests, des unterstützten Stacks und der Leistungsbedingungen, werden die technischen Fragen lediglich auf einen Zeitpunkt nach der Bestellung verschoben, an dem ihre Lösung meist langsamer und teurer ist.
Peter Vnuk
Technologien sind für mich sowohl Beruf als auch Hobby – am meisten beschäftige ich mich mit Smartphones, Notebooks, Audiotechnik, künstlicher Intelligenz und allem, was hi-tech ist. Ich rezensiere gerne Neuheiten, verfolge futuristische Trends und versuche, die zukünftige Entwicklung von Technologien abzuschätzen. Science-Fiction und Visionen zukünftiger Welten faszinieren mich – sie sind oft auch eine Inspiration für reale technologische Fortschritte. Beruflich beschäftige ich mich zudem mit Videospielen und der Gaming-Branche. Und wenn ich mal nicht arbeite, entspanne ich gerne bei einem guten Spiel, einem qualitativ hochwertigen Bier oder beim Erstellen von Tech-Memes auf Facebook.
