Modèles
Les noyaux d'attention FP8 open source ZYFA de Zyphra tournent 1,16 à 1,76 fois plus vite que l'AITER d'AMD sur MI355X selon Zyphra ; le 1,76 ne vaut que pour un modèle, et seul le prefill est couvert
Les noyaux FP8 open source ZYFA de Zyphra sont 1,16 à 1,76× plus rapides que l'AITER d'AMD sur MI355X, selon Zyphra. 1,76× : un modèle ; prefill seul.
Zyphra a publié ZYFA le 5 novembre 2026, des noyaux d'attention FP8 et BF16 open source pour le GPU AMD Instinct MI355X, avec un article sur arXiv. Le chiffre phare est jusqu'à 1,76 fois le débit FP8 de la bibliothèque AITER d'AMD, mais c'est le meilleur de trois modèles testés par Zyphra, les deux autres étant autour de 1,16 et 1,17. Tous les résultats sont ceux de Zyphra, et nous n'avons trouvé aucune réplication indépendante.
L'essentiel
- Ce que c'est : des noyaux d'attention causale en passe avant pour la phase de prefill sur le MI355X, avec des noyaux FP8 en assembleur ordonnancé à la main généré par Python et des noyaux BF16 en HIP. Le code est open source sous licence Apache 2.0.
- Les accélérations : sur des activations capturées sur de vrais modèles à 16K tokens et à fréquence soutenue, 1,16× sur Mistral-7B, 1,17× sur Qwen3-8B et 1,76× sur DeepSeek-V2-Lite, chacun mesuré sur une couche. Le BF16 est à peu près au même niveau, à 1,01 à 1,02×.
- Précision : Zyphra rapporte une erreur numérique FP8 de 62 à 78 % inférieure à celle d'AITER pour une dimension de tête de 128.
- Limites : il ne tourne que sur MI355X avec ROCm 7.2.3 et PyTorch 2.12, et couvre le prefill, pas le décodage ni le KV paginé.
Lire le chiffre de 1,76×
Le chiffre maximal concerne une couche de DeepSeek-V2-Lite à 16K tokens. L'article de Zyphra souligne que le débit sur entrées aléatoires ne prédit pas celui sur activations réelles, car la fréquence soutenue du MI355X dépend des valeurs des opérandes ; Zyphra a donc mesuré sur des activations de modèles capturées. Sur entrées gaussiennes à 32K tokens, il atteint 2 672 TFLOP/s, soit 53 % du pic FP8 contre 39 % pour AITER selon la mesure de Zyphra.
Ce que cela change et ne change pas
Le FP8 double le débit matriciel mais pas le softmax entre les deux produits matriciels : l'attention devient limitée par le softmax. ZYFA calcule chaque probabilité FP8 directement à partir de son score et recouvre le softmax avec le calcul matriciel grâce à un ordonnancement ping-pong à deux vagues. Ce sont des gains au niveau du noyau pour le prefill à long contexte. Aucun gain d'inférence de bout en bout n'est rapporté.
Ce qui n'est pas établi
- Réplication indépendante des benchmarks : non vue.
- Gain de service de bout en bout : non rapporté.
- Décodage, KV paginé ou entraînement : non couverts.
- Autres GPU, dont les anciens AMD : non pris en charge.
Tableau récapitulatif
| Point | Ce qui est affirmé au 7 novembre 2026 | Source |
|---|---|---|
| Publication | 5 novembre 2026, par Zyphra, avec un article arXiv | arXiv |
| Accélération sur vrais modèles | 1,16× à 1,76× face à AITER FP8, à 16K tokens et fréquence soutenue | MarkTechPost |
| Erreur | Erreur FP8 de 62 à 78 % inférieure à AITER pour une dimension de tête de 128 | daily.dev |
| Portée | MI355X seulement, prefill seulement, ROCm 7.2.3 et PyTorch 2.12 | MarkTechPost |
| Licence | Open source, Apache 2.0 | MarkTechPost |
FAQ
Est-ce toujours 1,76 fois plus rapide ?
Non. C'est le meilleur de trois modèles testés ; les deux autres sont à environ 1,16 et 1,17.
Cela marche-t-il sur NVIDIA ou sur d'anciens GPU AMD ?
Non. Il vise uniquement l'AMD Instinct MI355X.
Est-ce libre d'usage ?
Le code est open source sous Apache 2.0, selon MarkTechPost.
Méthode et limites
Sources consultées le 8 novembre 2026. Nous avons lu le résumé arXiv et la presse, pas l'article complet ni le code. Tous les chiffres de benchmark sont ceux de Zyphra et n'ont pas été vérifiés indépendamment. Ceci n'est pas un conseil en investissement.
Sources
- arXiv : ZYFA: Speed and Accuracy of FP8 FlashAttention on AMD CDNA4 (vérifié le 2026-11-08)
- MarkTechPost : Zyphra ZYFA: FP8 FlashAttention for AMD MI355X, Up to 1.76x Faster (vérifié le 2026-11-08)
- FourWeekMBA : Zyphra Says Its AMD MI355X Attention Kernel Is 1.76x Faster (vérifié le 2026-11-08)
- daily.dev : Zyphra ZYFA: FP8 FlashAttention for AMD MI355X, Up to 1.76x Faster (vérifié le 2026-11-08)
Une erreur dans cet article ? Signalez-la · Notre politique de corrections