Modelle
Zyphras quelloffene FP8-Attention-Kernel ZYFA laufen laut Zyphra auf der MI355X 1,16- bis 1,76-mal schneller als AMDs AITER; die 1,76 gelten nur für ein Modell, und nur Prefill ist abgedeckt
Zyphras offene FP8-Kernel ZYFA laufen laut Zyphra auf der MI355X 1,16- bis 1,76-mal schneller als AMDs AITER. Die 1,76 gelten für ein Modell; nur Prefill.
Zyphra veröffentlichte ZYFA am 5. November 2026, quelloffene FP8- und BF16-Attention-Kernel für AMDs Instinct-MI355X-GPU, mit einem Paper auf arXiv. Die Schlagzeile lautet bis zu 1,76-facher FP8-Durchsatz gegenüber AMDs AITER-Bibliothek, doch das ist das beste von drei von Zyphra getesteten Modellen, die anderen beiden liegen bei etwa 1,16 und 1,17. Alle Ergebnisse stammen von Zyphra, eine unabhängige Replikation fanden wir nicht.
Das Wesentliche
- Was es ist: kausale Vorwärts-Attention-Kernel für die Prefill-Phase auf der MI355X, mit FP8-Kernen als von Hand geplantem, per Python erzeugtem Assembler und BF16-Kernen in HIP. Der Code ist quelloffen unter Apache 2.0.
- Die Beschleunigung: Auf aus echten Modellen erfassten Aktivierungen bei 16K Tokens und anhaltendem Takt 1,16× bei Mistral-7B, 1,17× bei Qwen3-8B und 1,76× bei DeepSeek-V2-Lite, jeweils auf einer Schicht gemessen. BF16 liegt mit 1,01 bis 1,02× etwa gleichauf.
- Genauigkeit: Zyphra nennt einen um 62 bis 78 % geringeren numerischen FP8-Fehler als bei AITER bei Kopfdimension 128.
- Grenzen: Läuft nur auf der MI355X mit ROCm 7.2.3 und PyTorch 2.12 und deckt Prefill ab, nicht Decode oder paged KV.
Die 1,76× richtig lesen
Der Spitzenwert betrifft eine Schicht von DeepSeek-V2-Lite bei 16K Tokens. Zyphras Paper betont, dass der Durchsatz bei Zufallseingaben den bei echten Aktivierungen nicht vorhersagt, da der anhaltende Takt der MI355X von den Operandenwerten abhängt; deshalb wurde auf erfassten Modellaktivierungen gemessen. Bei Gauß-Eingaben mit 32K Tokens erreicht er 2.672 TFLOP/s, 53 % der FP8-Spitze gegenüber 39 % bei AITER nach Zyphras Messung.
Was es ändert und was nicht
FP8 verdoppelt den Matrixdurchsatz, nicht aber das Softmax zwischen den beiden Matrixprodukten, sodass Attention softmax-begrenzt wird. ZYFA berechnet jede FP8-Wahrscheinlichkeit direkt aus ihrem Score und überlappt Softmax mit Matrixarbeit über einen Zwei-Wellen-Ping-Pong-Plan. Das sind Gewinne auf Kernel-Ebene für Prefill bei langem Kontext. Durchgängige Inferenz-Beschleunigungen wurden nicht berichtet.
Was nicht belegt ist
- Unabhängige Replikation der Benchmarks: nicht gesehen.
- Durchgängige Serving-Beschleunigung: nicht berichtet.
- Decode, paged KV oder Training: nicht abgedeckt.
- Andere GPUs, auch ältere AMD-Chips: nicht unterstützt.
Übersichtstabelle
| Punkt | Was Stand 7. November 2026 behauptet wird | Quelle |
|---|---|---|
| Veröffentlichung | 5. November 2026 durch Zyphra, mit arXiv-Paper | arXiv |
| Beschleunigung bei echten Modellen | 1,16× bis 1,76× gegenüber AITER FP8, bei 16K Tokens und anhaltendem Takt | MarkTechPost |
| Fehler | 62 bis 78 % geringerer FP8-Fehler als AITER bei Kopfdimension 128 | daily.dev |
| Reichweite | Nur MI355X, nur Prefill, ROCm 7.2.3 und PyTorch 2.12 | MarkTechPost |
| Lizenz | Quelloffen, Apache 2.0 | MarkTechPost |
FAQ
Ist es immer 1,76-mal schneller?
Nein. Das ist das beste von drei getesteten Modellen; die anderen beiden liegen bei etwa 1,16 und 1,17.
Läuft es auf NVIDIA oder älteren AMD-GPUs?
Nein. Es zielt nur auf die AMD Instinct MI355X.
Ist es frei nutzbar?
Der Code ist quelloffen unter Apache 2.0, laut MarkTechPost.
Methode und Grenzen
Quellen am 8. November 2026 geprüft. Wir lasen das arXiv-Abstract und Presseberichte, nicht das ganze Paper oder den Code. Alle Benchmark-Zahlen stammen von Zyphra und wurden nicht unabhängig geprüft. Dies ist keine Anlageberatung.
Quellen
- arXiv: ZYFA: Speed and Accuracy of FP8 FlashAttention on AMD CDNA4 (geprüft am 2026-11-08)
- MarkTechPost: Zyphra ZYFA: FP8 FlashAttention for AMD MI355X, Up to 1.76x Faster (geprüft am 2026-11-08)
- FourWeekMBA: Zyphra Says Its AMD MI355X Attention Kernel Is 1.76x Faster (geprüft am 2026-11-08)
- daily.dev: Zyphra ZYFA: FP8 FlashAttention for AMD MI355X, Up to 1.76x Faster (geprüft am 2026-11-08)
Einen Fehler in diesem Artikel entdeckt? Melden Sie ihn · Unsere Korrekturrichtlinie