모델
자이피라의 오픈소스 FP8 어텐션 커널 ZYFA, 자이피라 측정으로 MI355X에서 AMD AITER보다 1.16~1.76배 빠름…1.76배는 한 모델 기준이고 프리필만 해당
자이피라의 오픈소스 FP8 커널 ZYFA는 자이피라 측정으로 MI355X에서 AMD AITER보다 1.16~1.76배 빠르다. 1.76배는 한 모델 기준이며 프리필만 해당.
자이피라는 2026년 11월 5일 AMD Instinct MI355X GPU용 오픈소스 FP8·BF16 어텐션 커널 ZYFA를 arXiv 논문과 함께 공개했다. 대표 수치는 AMD AITER 라이브러리 대비 FP8 처리량 최대 1.76배지만, 이는 자이피라가 시험한 세 모델 중 최고치이고 나머지 둘은 약 1.16배와 1.17배다. 결과는 모두 자이피라 자체 것이며 독립 재현은 찾지 못했다.
핵심 요약
- 무엇인가: MI355X의 프리필 단계를 위한 인과적 전방 어텐션 커널로, FP8은 파이썬이 생성한 수작업 스케줄 어셈블리, BF16은 HIP으로 작성됐다. 코드는 Apache 2.0 오픈소스다.
- 속도 향상: 실제 모델에서 캡처한 활성값으로 16K 토큰·지속 클럭 조건에서 Mistral-7B 1.16배, Qwen3-8B 1.17배, DeepSeek-V2-Lite 1.76배이며 각각 한 레이어에서 측정했다. BF16은 1.01~1.02배로 거의 같다.
- 정확도: 자이피라는 헤드 차원 128에서 FP8 수치 오차가 AITER보다 62~78% 작다고 보고한다.
- 제약: ROCm 7.2.3과 PyTorch 2.12의 MI355X에서만 돌아가며 프리필을 다루고 디코드나 페이지드 KV는 다루지 않는다.
1.76배 읽는 법
최대치는 16K 토큰에서 DeepSeek-V2-Lite 한 레이어의 값이다. 자이피라 논문은 MI355X의 지속 클럭이 피연산자 값에 좌우되므로 무작위 입력의 처리량이 실제 활성값의 처리량을 예측하지 못한다고 강조하며, 캡처한 모델 활성값으로 측정했다. 32K 토큰 가우시안 입력에서는 2,672 TFLOP/s로 자이피라 측정상 FP8 정점의 53%(AITER는 39%)에 이른다.
바뀌는 것과 그렇지 않은 것
FP8은 행렬 연산 처리량을 두 배로 하지만 두 행렬곱 사이의 소프트맥스는 빨라지지 않아 어텐션이 소프트맥스에 묶인다. ZYFA는 각 FP8 확률을 점수에서 직접 계산하고 2웨이브 핑퐁 스케줄로 소프트맥스를 행렬 연산과 겹친다. 이는 긴 문맥 프리필에 대한 커널 수준의 이득이며 종단 간 추론 속도 향상은 보고되지 않았다.
확립되지 않은 점
- 벤치마크의 독립 재현: 보지 못함.
- 종단 간 서빙 속도 향상: 보고 없음.
- 디코드, 페이지드 KV, 학습: 다루지 않음.
- 다른 GPU(이전 AMD 포함): 미지원.
비교 표
| 항목 | 2026년 11월 7일 기준 공표 내용 | 출처 |
|---|---|---|
| 공개 | 2026년 11월 5일, 자이피라, arXiv 논문 동반 | arXiv |
| 실모델 속도 향상 | 16K 토큰·지속 클럭에서 AITER FP8 대비 1.16~1.76배 | MarkTechPost |
| 오차 | 헤드 차원 128에서 AITER보다 FP8 오차 62~78% 작음 | daily.dev |
| 범위 | MI355X 전용, 프리필 전용, ROCm 7.2.3과 PyTorch 2.12 | MarkTechPost |
| 라이선스 | 오픈소스, Apache 2.0 | MarkTechPost |
자주 묻는 질문
항상 1.76배 빠른가
아니다. 시험한 세 모델 중 최고치이며 나머지 둘은 약 1.16배와 1.17배다.
NVIDIA나 이전 AMD GPU에서도 되나
아니다. AMD Instinct MI355X만 대상이다.
자유롭게 쓸 수 있나
MarkTechPost에 따르면 코드는 Apache 2.0 오픈소스다.
방법과 한계
출처는 2026년 11월 8일에 확인했다. arXiv 초록과 언론 보도를 읽었고 논문 전문과 코드는 읽지 않았다. 벤치마크 수치는 모두 자이피라 제공이며 독립적으로 검증되지 않았다. 투자 조언이 아니다.
출처
- arXiv: ZYFA: Speed and Accuracy of FP8 FlashAttention on AMD CDNA4 (확인일: 2026-11-08)
- MarkTechPost: Zyphra ZYFA: FP8 FlashAttention for AMD MI355X, Up to 1.76x Faster (확인일: 2026-11-08)
- FourWeekMBA: Zyphra Says Its AMD MI355X Attention Kernel Is 1.76x Faster (확인일: 2026-11-08)
- daily.dev: Zyphra ZYFA: FP8 FlashAttention for AMD MI355X, Up to 1.76x Faster (확인일: 2026-11-08)