モデル

ZyphraのオープンソースFP8アテンションカーネルZYFA、Zyphraの測定でAMDのAITERよりMI355X上で1.16〜1.76倍高速。1.76倍は1モデルのみで、対象はプリフィルだけ

ZyphraのオープンソースFP8カーネルZYFAは、Zyphraの測定でAMDのAITERよりMI355Xで1.16〜1.76倍高速。1.76倍は1モデルで、プリフィルのみ。

執筆: ·

Zyphraは2026年11月5日、AMD Instinct MI355X GPU向けのオープンソースFP8・BF16アテンションカーネルZYFAをarXiv論文とともに公開した。目玉の数字はAMDのAITERライブラリに対するFP8スループット最大1.76倍だが、これはZyphraが試した3モデルのうち最良のもので、他の2つは約1.16倍と1.17倍だ。結果はすべてZyphra自身のもので、独立した再現は見つからなかった。

要点

1.76倍の読み方

最大値は16KトークンでのDeepSeek-V2-Liteの1層だ。Zyphraの論文は、MI355Xの持続クロックがオペランドの値に依存するため、ランダム入力でのスループットは実活性値での性能を予測しないと強調し、取得したモデル活性値で測定した。32Kトークンのガウス入力では2,672 TFLOP/sに達し、Zyphraの測定でFP8ピークの53%(AITERは39%)だ。

変わることと変わらないこと

FP8は行列計算を2倍にするが、2つの行列積の間のソフトマックスは速くならないため、アテンションはソフトマックス律速になる。ZYFAは各FP8確率をスコアから直接計算し、2ウェーブのピンポン・スケジュールでソフトマックスを行列計算と重ねる。これは長文脈プリフィルのカーネル単位の改善で、エンドツーエンドの推論高速化は報告されていない。

確立されていない点

比較表

比較表
項目2026年11月7日時点で示されている内容出典
公開2026年11月5日、Zyphra、arXiv論文付きarXiv
実モデルでの高速化16Kトークン・持続クロックでAITER FP8の1.16〜1.76倍MarkTechPost
誤差ヘッド次元128でAITERよりFP8誤差が62〜78%小さいdaily.dev
範囲MI355Xのみ、プリフィルのみ、ROCm 7.2.3とPyTorch 2.12MarkTechPost
ライセンスオープンソース、Apache 2.0MarkTechPost

よくある質問

常に1.76倍速いのか

いいえ。試した3モデルのうち最良の値で、他の2つは約1.16倍と1.17倍。

NVIDIAや旧世代のAMD GPUでも動くか

いいえ。AMD Instinct MI355Xのみが対象。

自由に使えるか

MarkTechPostによれば、コードはApache 2.0のオープンソース。

方法と限界

出典は2026年11月8日に確認した。arXivの概要と報道を読み、論文全文とコードは読んでいない。ベンチマーク値はすべてZyphra発表で、独立には検証されていない。投資助言ではない。

出典

この記事の誤りに気づかれましたか? 報告する · 訂正ポリシー

OrigoTechのロゴ

新登場:アプリ iPhone・iPad

OrigoTechがiPhone・iPadアプリになりました

記事をネイティブで読めます。未読の「新着」表示、端末内検索、読み込み済み記事のオフライン閲覧に対応。無料、アカウント不要、iOS 17以降。記事の合間に広告が表示されます。

Rekhaのアイコン:一筆書きで描かれた家

同じ筆者による作品 自社紹介

一筆書きの道を、指でたどる

OrigoTechの筆者が作ったiPhoneゲーム「Rekha」:同じ線を二度たどらずに、すべての点を一筆でつなぐ。500種類の図形は、どれも必ず解けます。

OrigoTechニュースレター

AIツールのニュースを、出典付きで毎週まとめて配信。

次に読む