Modelos
Os kernels de atenção FP8 de código aberto ZYFA da Zyphra rodam de 1,16 a 1,76 vez mais rápido que o AITER da AMD na MI355X segundo a Zyphra; o 1,76 é de um só modelo e cobre apenas o prefill
Os kernels FP8 abertos ZYFA da Zyphra rodam de 1,16 a 1,76× mais rápido que o AITER da AMD na MI355X, segundo a Zyphra. 1,76×: um modelo; só prefill.
A Zyphra publicou o ZYFA em 5 de novembro de 2026, kernels de atenção FP8 e BF16 de código aberto para a GPU AMD Instinct MI355X, com um artigo no arXiv. O número principal é até 1,76 vez o desempenho FP8 da biblioteca AITER da AMD, mas é o melhor de três modelos testados pela Zyphra e os outros dois ficam em torno de 1,16 e 1,17. Todos os resultados são da Zyphra e não achamos replicação independente.
O essencial
- O que é: kernels de atenção causal para frente da fase de prefill na MI355X, com kernels FP8 em assembly agendado à mão e gerado por Python e kernels BF16 em HIP. O código é aberto sob Apache 2.0.
- As acelerações: com ativações capturadas de modelos reais a 16K tokens e clock sustentado, 1,16× no Mistral-7B, 1,17× no Qwen3-8B e 1,76× no DeepSeek-V2-Lite, cada uma medida numa camada. O BF16 fica praticamente igual, em 1,01 a 1,02×.
- Precisão: a Zyphra relata erro numérico FP8 de 62 a 78% menor que o do AITER com dimensão de cabeça 128.
- Limites: roda só na MI355X com ROCm 7.2.3 e PyTorch 2.12, e cobre o prefill, não a decodificação nem o KV paginado.
Como ler o número de 1,76×
O valor máximo é de uma camada do DeepSeek-V2-Lite a 16K tokens. O artigo da Zyphra destaca que o desempenho com entradas aleatórias não prevê o de ativações reais, porque o clock sustentado da MI355X depende dos valores dos operandos; por isso mediu com ativações de modelos capturadas. Com entradas gaussianas a 32K tokens chega a 2.672 TFLOP/s, 53% do pico FP8 contra 39% do AITER pela medição da Zyphra.
O que muda e o que não muda
O FP8 dobra o desempenho matricial, mas não o softmax entre os dois produtos matriciais, então a atenção fica limitada pelo softmax. O ZYFA calcula cada probabilidade FP8 diretamente da sua pontuação e sobrepõe o softmax ao trabalho matricial com um agendamento ping-pong de duas ondas. São ganhos no nível do kernel para prefill de contexto longo. Não foram relatados ganhos de inferência de ponta a ponta.
O que não está estabelecido
- Replicação independente dos benchmarks: não vista.
- Aceleração de serviço de ponta a ponta: não relatada.
- Decodificação, KV paginado ou treinamento: não cobertos.
- Outras GPUs, incluindo AMD anteriores: não suportadas.
Tabela-resumo
| Ponto | O que está declarado em 7 de novembro de 2026 | Fonte |
|---|---|---|
| Lançamento | 5 de novembro de 2026, pela Zyphra, com artigo no arXiv | arXiv |
| Aceleração em modelos reais | 1,16× a 1,76× sobre o AITER FP8, a 16K tokens e clock sustentado | MarkTechPost |
| Erro | Erro FP8 de 62 a 78% menor que o AITER com dimensão de cabeça 128 | daily.dev |
| Alcance | Só MI355X, só prefill, ROCm 7.2.3 e PyTorch 2.12 | MarkTechPost |
| Licença | Código aberto, Apache 2.0 | MarkTechPost |
Perguntas frequentes
É sempre 1,76 vez mais rápido?
Não. É o melhor de três modelos testados; os outros dois ficam em torno de 1,16 e 1,17.
Funciona em NVIDIA ou em GPUs AMD antigas?
Não. Mira apenas a AMD Instinct MI355X.
É de uso livre?
O código é aberto sob Apache 2.0, segundo a MarkTechPost.
Método e limites
Fontes consultadas em 8 de novembro de 2026. Lemos o resumo do arXiv e a imprensa, não o artigo completo nem o código. Todos os números de benchmark são da Zyphra e não foram verificados de forma independente. Isto não é aconselhamento de investimento.
Fontes
- arXiv: ZYFA: Speed and Accuracy of FP8 FlashAttention on AMD CDNA4 (verificado em 2026-11-08)
- MarkTechPost: Zyphra ZYFA: FP8 FlashAttention for AMD MI355X, Up to 1.76x Faster (verificado em 2026-11-08)
- FourWeekMBA: Zyphra Says Its AMD MI355X Attention Kernel Is 1.76x Faster (verificado em 2026-11-08)
- daily.dev: Zyphra ZYFA: FP8 FlashAttention for AMD MI355X, Up to 1.76x Faster (verificado em 2026-11-08)
Encontrou um erro neste artigo? Avise-nos · Nossa política de correções