Nvidia könnte in diesem wichtigen Teil des KI-Chipgeschäfts tatsächlich verlieren

Nvidia-CEO Jensen Huang

picture alliance / ASSOCIATED PRESS | Chiang Ying-ying

Inferenz machte in Q2 rund 40 Prozent des Umsatzes von Nvidia mit Rechenzentren in Höhe von 26,3 Milliarden US-Dollar aus.

Die Nachfrage nach Inferenz-Computing wird mit der Reifung der KI steigen.

Unternehmen wie Groq und Cerebras bringen Inferenz-Chips auf den Markt, um mit Nvidia zu konkurrieren.

In KI-Hardwarekreisen spricht fast jeder über Inferenz.

Colette Kress, CFO von Nvidia, sagte auf der Konferenz des Unternehmens am Mittwoch, dass Inferenz etwa 40 Prozent des Q2-Umsatzes von Nvidia mit Rechenzentren in Höhe von 26,3 Milliarden US-Dollar (23,8 Milliarden Euro) ausmachte. AWS-CEO Matt Garman sagte kürzlich im No Priors-Podcast, dass Inferenz wahrscheinlich die Hälfte der Arbeit ausmacht, die heute auf KI-Computing-Servern ausgeführt wird. Und dieser Anteil wird wahrscheinlich noch wachsen und Konkurrenten anlocken, die Nvidias Krone angreifen wollen.

Daraus folgt, dass viele der Unternehmen, die Nvidia Marktanteile abnehmen wollen, mit Inferenzen beginnen.

Ein Gründerteam aus ehemaligen Google-Mitarbeitern hat Groq gegründet, das sich auf Inferenz-Hardware konzentriert und im August 640 Millionen Dollar bei einer Bewertung von 2,8 Milliarden Dollar (2,5 Milliarden Euro) aufbrachte.

Im Dezember 2023 stellte Positron AI einen Inferenz-Chip vor, der angeblich die gleichen Berechnungen wie der H100 von Nvidia durchführen kann, aber fünfmal billiger ist. Amazon entwickelt sowohl Trainings- als auch Inferenzchips mit den treffenden Namen Trainium und Inferentia.

„Ich denke, je mehr Vielfalt es gibt, desto besser sind wir dran, sagte Garman im selben Podcast.

Und Cerebras, das kalifornische Unternehmen, das für seine übergroßen KI-Trainingschips bekannt ist, gab letzte Woche bekannt, dass es einen ebenso großen Inferenzchip entwickelt hat, der laut CEO Andrew Feldman der schnellste auf dem Markt ist.

Nicht alle Inferenz-Chips sind gleich gebaut

Chips für Künstliche Intelligenz müssen für Training oder Inferenz optimiert sein.

Training ist die erste Phase der Entwicklung eines KI-Tools, in der ihr ein Modell mit markierten und kommentierten Daten füttert, damit es lernen kann, genaue und hilfreiche Ergebnisse zu produzieren. Die Inferenz ist der Vorgang, bei dem diese Ergebnisse erzeugt werden, sobald das Modell trainiert ist.

Trainingschips sind in der Regel auf schiere Rechenleistung optimiert. Inferenzchips benötigen weniger Rechenleistung, und einige Inferenzen können sogar mit herkömmlichen CPUs durchgeführt werden.

Die Hersteller von Chips für diese Aufgabe sorgen sich eher um die Latenzzeit, denn der Unterschied zwischen einem KI-Tool, das süchtig macht, und einem, das nervt, hängt oft von der Geschwindigkeit ab. Darauf setzt Andrew Feldman, CEO von Cerebras.

Der Chip von Cerebras hat nach Angaben des Unternehmens die 7.000-fache Speicherbandbreite des H100 von Nvidia. Das ermöglicht das, was Feldman als „mörderische Geschwindigkeit bezeichnet.

Das Unternehmen, das einen Börsengang anstrebt, führt auch Inferenz als Service mit mehreren Stufen ein, darunter eine kostenlose Stufe.

„Inferenz ist ein Speicherbandbreitenproblem, so Feldman zu Business Insider.

Wer mit KI Geld verdienen will, muss die Inferenz-Workloads skalieren

Die Entscheidung, ob ein Chipdesign für Training oder Inferenz optimiert werden soll, ist nicht nur eine technische Entscheidung, sondern auch eine Entscheidung für den Markt. Die meisten Unternehmen, die KI-Tools herstellen, werden irgendwann beides brauchen, aber der Großteil ihres Bedarfs wird wahrscheinlich in dem einen oder anderen Bereich liegen, je nachdem, wo sich das Unternehmen in seinem Entwicklungszyklus befindet.

Massive Trainingslasten könnten als die F&E-Phase der KI angesehen werden. Wenn ein Unternehmen zu einem Großteil auf Inferenzen umsteigt, bedeutet dies, dass das Produkt, das es entwickelt hat, für den Endkunden funktioniert – zumindest theoretisch.

Es wird erwartet, dass die Inferenz die überwiegende Mehrheit der Datenverarbeitungsaufgaben ausmacht, wenn mehr KI-Projekte und Startups reifen. Laut Garman von AWS ist dies sogar notwendig, um die noch nicht realisierte Rendite von Hunderten von Milliarden an KI-Infrastrukturinvestitionen zu erzielen.

„Inferenz-Workloads müssen dominieren, sonst werden sich all die Investitionen in diese großen Modelle nicht wirklich auszahlen, so Garman gegenüber No Priors.

Die einfache Binarität von Training vs. Inferenz für Chipdesigner wird jedoch nicht ewig gelten

„Einige der Cluster in unseren Rechenzentren werden von den Kunden für beides genutzt, so Raul Martynek, CEO des Rechenzentrumsbetreibers Databank.

Die jüngste Übernahme von Run.ai durch Nvidia könnte Martyneks Vorhersage unterstützen, dass die Mauer zwischen Inferenz und Training bald fallen könnte.

Im April stimmte Nvidia der Übernahme des israelischen Unternehmens Run:ai zu. Der Deal ist jedoch noch nicht abgeschlossen und wird laut Politico vom Justizministerium genau geprüft. Die Technologie von Run:ai sorgt dafür, dass GPUs effizienter arbeiten, sodass mehr Arbeit auf weniger Chips erledigt werden kann.

„Ich denke, für die meisten Unternehmen werden sie fusionieren. Sie werden einen Cluster haben, der trainiert und Inferenzen durchführt, sagte Martynek.

Nvidia lehnte eine Stellungnahme zu diesem Bericht ab.