Modelos
Los kernels de atención FP8 de código abierto ZYFA de Zyphra rinden de 1,16 a 1,76 veces más que el AITER de AMD en la MI355X según Zyphra; el 1,76 es de un solo modelo y solo cubre el prefill
Los kernels FP8 abiertos ZYFA de Zyphra rinden de 1,16 a 1,76× más que el AITER de AMD en MI355X, según Zyphra. 1,76×: un modelo; solo prefill.
Zyphra publicó ZYFA el 5 de noviembre de 2026, kernels de atención FP8 y BF16 de código abierto para la GPU AMD Instinct MI355X, con un artículo en arXiv. La cifra principal es hasta 1,76 veces el rendimiento FP8 de la biblioteca AITER de AMD, pero es el mejor de tres modelos probados por Zyphra y los otros dos rondan 1,16 y 1,17. Todos los resultados son de Zyphra y no hallamos réplica independiente.
Lo esencial
- Qué es: kernels de atención causal hacia delante para la fase de prefill en la MI355X, con kernels FP8 en ensamblador programado a mano y generado con Python, y kernels BF16 en HIP. El código es abierto bajo Apache 2.0.
- Las aceleraciones: con activaciones capturadas de modelos reales a 16K tokens y reloj sostenido, 1,16× en Mistral-7B, 1,17× en Qwen3-8B y 1,76× en DeepSeek-V2-Lite, cada una medida en una capa. El BF16 queda a la par, en 1,01 a 1,02×.
- Precisión: Zyphra informa de un error numérico FP8 entre un 62 y un 78 % menor que el de AITER con dimensión de cabeza 128.
- Límites: solo funciona en la MI355X con ROCm 7.2.3 y PyTorch 2.12, y cubre el prefill, no la decodificación ni el KV paginado.
Cómo leer la cifra de 1,76×
La cifra máxima corresponde a una capa de DeepSeek-V2-Lite a 16K tokens. El artículo de Zyphra subraya que el rendimiento con entradas aleatorias no predice el de activaciones reales, porque el reloj sostenido de la MI355X depende de los valores de los operandos; por eso midió con activaciones capturadas. Con entradas gaussianas a 32K tokens alcanza 2672 TFLOP/s, el 53 % del pico FP8 frente al 39 % de AITER según la medición de Zyphra.
Qué cambia y qué no
El FP8 duplica el rendimiento matricial pero no el softmax entre los dos productos matriciales, así que la atención queda limitada por el softmax. ZYFA calcula cada probabilidad FP8 directamente desde su puntuación y solapa el softmax con el trabajo matricial mediante una planificación ping-pong de dos oleadas. Son mejoras a nivel de kernel para prefill de contexto largo. No se informó de aceleración de inferencia de extremo a extremo.
Lo que no está establecido
- Réplica independiente de los benchmarks: no vista.
- Aceleración de servicio de extremo a extremo: no informada.
- Decodificación, KV paginado o entrenamiento: no cubiertos.
- Otras GPU, incluidas AMD anteriores: no compatibles.
Tabla resumen
| Punto | Lo que se afirma a 7 de noviembre de 2026 | Fuente |
|---|---|---|
| Publicación | 5 de noviembre de 2026, por Zyphra, con un artículo en arXiv | arXiv |
| Aceleración en modelos reales | 1,16× a 1,76× sobre AITER FP8, a 16K tokens y reloj sostenido | MarkTechPost |
| Error | Error FP8 entre 62 y 78 % menor que AITER con dimensión de cabeza 128 | daily.dev |
| Alcance | Solo MI355X, solo prefill, ROCm 7.2.3 y PyTorch 2.12 | MarkTechPost |
| Licencia | Código abierto, Apache 2.0 | MarkTechPost |
Preguntas frecuentes
¿Siempre es 1,76 veces más rápido?
No. Es el mejor de tres modelos probados; los otros dos rondan 1,16 y 1,17.
¿Funciona en NVIDIA o en GPU AMD antiguas?
No. Apunta solo a la AMD Instinct MI355X.
¿Es de uso libre?
El código es abierto bajo Apache 2.0, según MarkTechPost.
Método y límites
Fuentes consultadas el 8 de noviembre de 2026. Leímos el resumen de arXiv y la prensa, no el artículo completo ni el código. Todas las cifras de benchmark son de Zyphra y no se verificaron de forma independiente. Esto no es asesoramiento de inversión.
Fuentes
- arXiv: ZYFA: Speed and Accuracy of FP8 FlashAttention on AMD CDNA4 (verificado el 2026-11-08)
- MarkTechPost: Zyphra ZYFA: FP8 FlashAttention for AMD MI355X, Up to 1.76x Faster (verificado el 2026-11-08)
- FourWeekMBA: Zyphra Says Its AMD MI355X Attention Kernel Is 1.76x Faster (verificado el 2026-11-08)
- daily.dev: Zyphra ZYFA: FP8 FlashAttention for AMD MI355X, Up to 1.76x Faster (verificado el 2026-11-08)
¿Ha detectado un error en este artículo? Comuníquenoslo · Nuestra política de correcciones