Modelli
I kernel di attenzione FP8 open source ZYFA di Zyphra sono da 1,16 a 1,76 volte più veloci dell'AITER di AMD su MI355X secondo Zyphra; l'1,76 vale per un solo modello e copre solo il prefill
I kernel FP8 aperti ZYFA di Zyphra sono da 1,16 a 1,76× più veloci dell'AITER di AMD su MI355X, secondo Zyphra. 1,76×: un modello; solo prefill.
Zyphra ha pubblicato ZYFA il 5 novembre 2026, kernel di attenzione FP8 e BF16 open source per la GPU AMD Instinct MI355X, con un articolo su arXiv. Il dato di punta è fino a 1,76 volte la velocità FP8 della libreria AITER di AMD, ma è il migliore di tre modelli provati da Zyphra e gli altri due sono intorno a 1,16 e 1,17. Tutti i risultati sono di Zyphra e non abbiamo trovato repliche indipendenti.
L'essenziale
- Cos'è: kernel di attenzione causale in avanti per la fase di prefill sulla MI355X, con kernel FP8 in assembly pianificato a mano e generato da Python e kernel BF16 in HIP. Il codice è open source con licenza Apache 2.0.
- Le accelerazioni: su attivazioni catturate da modelli reali a 16K token e clock sostenuto, 1,16× su Mistral-7B, 1,17× su Qwen3-8B e 1,76× su DeepSeek-V2-Lite, ciascuna misurata su un livello. Il BF16 è pressoché alla pari, a 1,01-1,02×.
- Accuratezza: Zyphra riporta un errore numerico FP8 inferiore del 62-78% rispetto ad AITER con dimensione di testa 128.
- Limiti: funziona solo sulla MI355X con ROCm 7.2.3 e PyTorch 2.12, e copre il prefill, non la decodifica né il KV paginato.
Come leggere il dato di 1,76×
Il valore massimo riguarda un livello di DeepSeek-V2-Lite a 16K token. L'articolo di Zyphra sottolinea che la velocità su input casuali non prevede quella su attivazioni reali, perché il clock sostenuto della MI355X dipende dai valori degli operandi; per questo ha misurato su attivazioni di modelli catturate. Su input gaussiani a 32K token raggiunge 2.672 TFLOP/s, il 53% del picco FP8 contro il 39% di AITER secondo la misura di Zyphra.
Cosa cambia e cosa no
L'FP8 raddoppia la velocità matriciale ma non il softmax tra i due prodotti matriciali, quindi l'attenzione diventa limitata dal softmax. ZYFA calcola ogni probabilità FP8 direttamente dal suo punteggio e sovrappone il softmax al lavoro matriciale con una pianificazione ping-pong a due ondate. Sono guadagni a livello di kernel per il prefill a contesto lungo. Non sono riportati guadagni di inferenza end-to-end.
Che cosa non è accertato
- Replica indipendente dei benchmark: non vista.
- Accelerazione di serving end-to-end: non riportata.
- Decodifica, KV paginato o addestramento: non coperti.
- Altre GPU, comprese AMD precedenti: non supportate.
Tabella riassuntiva
| Punto | Che cosa risulta al 7 novembre 2026 | Fonte |
|---|---|---|
| Rilascio | 5 novembre 2026, da Zyphra, con un articolo su arXiv | arXiv |
| Accelerazione su modelli reali | Da 1,16× a 1,76× rispetto ad AITER FP8, a 16K token e clock sostenuto | MarkTechPost |
| Errore | Errore FP8 inferiore del 62-78% rispetto ad AITER con dimensione di testa 128 | daily.dev |
| Portata | Solo MI355X, solo prefill, ROCm 7.2.3 e PyTorch 2.12 | MarkTechPost |
| Licenza | Open source, Apache 2.0 | MarkTechPost |
FAQ
È sempre 1,76 volte più veloce?
No. È il migliore di tre modelli provati; gli altri due sono intorno a 1,16 e 1,17.
Funziona su NVIDIA o su vecchie GPU AMD?
No. Punta solo alla AMD Instinct MI355X.
È liberamente utilizzabile?
Il codice è open source con Apache 2.0, secondo MarkTechPost.
Metodo e limiti
Fonti consultate l'8 novembre 2026. Abbiamo letto l'abstract di arXiv e la stampa, non l'articolo completo né il codice. Tutte le cifre dei benchmark sono di Zyphra e non verificate in modo indipendente. Questo non è un consiglio di investimento.
Fonti
- arXiv: ZYFA: Speed and Accuracy of FP8 FlashAttention on AMD CDNA4 (verificato il 2026-11-08)
- MarkTechPost: Zyphra ZYFA: FP8 FlashAttention for AMD MI355X, Up to 1.76x Faster (verificato il 2026-11-08)
- FourWeekMBA: Zyphra Says Its AMD MI355X Attention Kernel Is 1.76x Faster (verificato il 2026-11-08)
- daily.dev: Zyphra ZYFA: FP8 FlashAttention for AMD MI355X, Up to 1.76x Faster (verificato il 2026-11-08)
Avete notato un errore in questo articolo? Segnalatelo · La nostra politica sulle correzioni