モデル
ZyphraのオープンソースFP8アテンションカーネルZYFA、Zyphraの測定でAMDのAITERよりMI355X上で1.16〜1.76倍高速。1.76倍は1モデルのみで、対象はプリフィルだけ
ZyphraのオープンソースFP8カーネルZYFAは、Zyphraの測定でAMDのAITERよりMI355Xで1.16〜1.76倍高速。1.76倍は1モデルで、プリフィルのみ。
Zyphraは2026年11月5日、AMD Instinct MI355X GPU向けのオープンソースFP8・BF16アテンションカーネルZYFAをarXiv論文とともに公開した。目玉の数字はAMDのAITERライブラリに対するFP8スループット最大1.76倍だが、これはZyphraが試した3モデルのうち最良のもので、他の2つは約1.16倍と1.17倍だ。結果はすべてZyphra自身のもので、独立した再現は見つからなかった。
要点
- 内容:MI355X上のプリフィル段階向け因果的前方アテンションカーネルで、FP8はPythonで生成した手スケジュールのアセンブリ、BF16はHIPで書かれている。コードはApache 2.0のオープンソース。
- 高速化:実モデルから取得した活性値で、16Kトークン・持続クロックの条件では、Mistral-7Bで1.16倍、Qwen3-8Bで1.17倍、DeepSeek-V2-Liteで1.76倍で、いずれも1層で測定。BF16は1.01〜1.02倍でほぼ同等。
- 精度:Zyphraは、ヘッド次元128でFP8の数値誤差がAITERより62〜78%小さいと報告する。
- 制約:ROCm 7.2.3とPyTorch 2.12のMI355Xでのみ動き、対象はプリフィルでデコードやページ化KVは含まない。
1.76倍の読み方
最大値は16KトークンでのDeepSeek-V2-Liteの1層だ。Zyphraの論文は、MI355Xの持続クロックがオペランドの値に依存するため、ランダム入力でのスループットは実活性値での性能を予測しないと強調し、取得したモデル活性値で測定した。32Kトークンのガウス入力では2,672 TFLOP/sに達し、Zyphraの測定でFP8ピークの53%(AITERは39%)だ。
変わることと変わらないこと
FP8は行列計算を2倍にするが、2つの行列積の間のソフトマックスは速くならないため、アテンションはソフトマックス律速になる。ZYFAは各FP8確率をスコアから直接計算し、2ウェーブのピンポン・スケジュールでソフトマックスを行列計算と重ねる。これは長文脈プリフィルのカーネル単位の改善で、エンドツーエンドの推論高速化は報告されていない。
確立されていない点
- ベンチマークの独立した再現:確認できず。
- エンドツーエンドの推論高速化:報告なし。
- デコード、ページ化KV、学習:対象外。
- 他のGPU(旧世代のAMDを含む):非対応。
比較表
| 項目 | 2026年11月7日時点で示されている内容 | 出典 |
|---|---|---|
| 公開 | 2026年11月5日、Zyphra、arXiv論文付き | arXiv |
| 実モデルでの高速化 | 16Kトークン・持続クロックでAITER FP8の1.16〜1.76倍 | MarkTechPost |
| 誤差 | ヘッド次元128でAITERよりFP8誤差が62〜78%小さい | daily.dev |
| 範囲 | MI355Xのみ、プリフィルのみ、ROCm 7.2.3とPyTorch 2.12 | MarkTechPost |
| ライセンス | オープンソース、Apache 2.0 | MarkTechPost |
よくある質問
常に1.76倍速いのか
いいえ。試した3モデルのうち最良の値で、他の2つは約1.16倍と1.17倍。
NVIDIAや旧世代のAMD GPUでも動くか
いいえ。AMD Instinct MI355Xのみが対象。
自由に使えるか
MarkTechPostによれば、コードはApache 2.0のオープンソース。
方法と限界
出典は2026年11月8日に確認した。arXivの概要と報道を読み、論文全文とコードは読んでいない。ベンチマーク値はすべてZyphra発表で、独立には検証されていない。投資助言ではない。
出典
- arXiv:ZYFA: Speed and Accuracy of FP8 FlashAttention on AMD CDNA4(確認日:2026-11-08)
- MarkTechPost:Zyphra ZYFA: FP8 FlashAttention for AMD MI355X, Up to 1.76x Faster(確認日:2026-11-08)
- FourWeekMBA:Zyphra Says Its AMD MI355X Attention Kernel Is 1.76x Faster(確認日:2026-11-08)
- daily.dev:Zyphra ZYFA: FP8 FlashAttention for AMD MI355X, Up to 1.76x Faster(確認日:2026-11-08)