Modelle

Zyphras quelloffene FP8-Attention-Kernel ZYFA laufen laut Zyphra auf der MI355X 1,16- bis 1,76-mal schneller als AMDs AITER; die 1,76 gelten nur für ein Modell, und nur Prefill ist abgedeckt

Zyphras offene FP8-Kernel ZYFA laufen laut Zyphra auf der MI355X 1,16- bis 1,76-mal schneller als AMDs AITER. Die 1,76 gelten für ein Modell; nur Prefill.

Von ·

Zyphra veröffentlichte ZYFA am 5. November 2026, quelloffene FP8- und BF16-Attention-Kernel für AMDs Instinct-MI355X-GPU, mit einem Paper auf arXiv. Die Schlagzeile lautet bis zu 1,76-facher FP8-Durchsatz gegenüber AMDs AITER-Bibliothek, doch das ist das beste von drei von Zyphra getesteten Modellen, die anderen beiden liegen bei etwa 1,16 und 1,17. Alle Ergebnisse stammen von Zyphra, eine unabhängige Replikation fanden wir nicht.

Das Wesentliche

Die 1,76× richtig lesen

Der Spitzenwert betrifft eine Schicht von DeepSeek-V2-Lite bei 16K Tokens. Zyphras Paper betont, dass der Durchsatz bei Zufallseingaben den bei echten Aktivierungen nicht vorhersagt, da der anhaltende Takt der MI355X von den Operandenwerten abhängt; deshalb wurde auf erfassten Modellaktivierungen gemessen. Bei Gauß-Eingaben mit 32K Tokens erreicht er 2.672 TFLOP/s, 53 % der FP8-Spitze gegenüber 39 % bei AITER nach Zyphras Messung.

Was es ändert und was nicht

FP8 verdoppelt den Matrixdurchsatz, nicht aber das Softmax zwischen den beiden Matrixprodukten, sodass Attention softmax-begrenzt wird. ZYFA berechnet jede FP8-Wahrscheinlichkeit direkt aus ihrem Score und überlappt Softmax mit Matrixarbeit über einen Zwei-Wellen-Ping-Pong-Plan. Das sind Gewinne auf Kernel-Ebene für Prefill bei langem Kontext. Durchgängige Inferenz-Beschleunigungen wurden nicht berichtet.

Was nicht belegt ist

Übersichtstabelle

Übersichtstabelle
PunktWas Stand 7. November 2026 behauptet wirdQuelle
Veröffentlichung5. November 2026 durch Zyphra, mit arXiv-PaperarXiv
Beschleunigung bei echten Modellen1,16× bis 1,76× gegenüber AITER FP8, bei 16K Tokens und anhaltendem TaktMarkTechPost
Fehler62 bis 78 % geringerer FP8-Fehler als AITER bei Kopfdimension 128daily.dev
ReichweiteNur MI355X, nur Prefill, ROCm 7.2.3 und PyTorch 2.12MarkTechPost
LizenzQuelloffen, Apache 2.0MarkTechPost

FAQ

Ist es immer 1,76-mal schneller?

Nein. Das ist das beste von drei getesteten Modellen; die anderen beiden liegen bei etwa 1,16 und 1,17.

Läuft es auf NVIDIA oder älteren AMD-GPUs?

Nein. Es zielt nur auf die AMD Instinct MI355X.

Ist es frei nutzbar?

Der Code ist quelloffen unter Apache 2.0, laut MarkTechPost.

Methode und Grenzen

Quellen am 8. November 2026 geprüft. Wir lasen das arXiv-Abstract und Presseberichte, nicht das ganze Paper oder den Code. Alle Benchmark-Zahlen stammen von Zyphra und wurden nicht unabhängig geprüft. Dies ist keine Anlageberatung.

Quellen

Einen Fehler in diesem Artikel entdeckt? Melden Sie ihn · Unsere Korrekturrichtlinie

OrigoTech-Logo

Neu: die App iPhone und iPad

OrigoTech ist jetzt eine App für iPhone und iPad

Lies die Artikel nativ, mit „Neu“-Markierungen für Ungelesenes, lokaler Suche und Offline-Lesen bereits geladener Artikel. Kostenlos, ohne Konto, ab iOS 17; zwischen den Artikeln erscheint Werbung.

Rekha-Symbol: ein in einem Strich gezeichnetes Haus

Vom selben Autor Eigenwerbung

Ein Eulerpfad, mit dem Finger gezeichnet

Rekha, das iPhone-Spiel des Autors von OrigoTech: Verbinden Sie alle Punkte in einem einzigen Strich, ohne dieselbe Verbindung zweimal zu ziehen, in 500 Zeichnungen, die alle lösbar sind.

Der OrigoTech-Newsletter

Ein wöchentlicher, mit Quellen belegter Überblick über die Neuigkeiten zu KI-Werkzeugen.

Weiterlesen