확립
8비트: DeepSeek-V3(2024)
거대 모델에서 처음으로 8비트 학습이 검증되었습니다. DeepSeek-V3의 행렬 계산 대부분이 세밀한 눈금 맞추기와 함께 FP8로 이루어집니다. 학습 오차는 16비트 기준과 0.25% 이내의 차이에 머물렀습니다. 학습 비용이 낮은 이유 가운데 하나입니다.
심화 · 제IV장
더 적은 비트로 계산하기
모델의 숫자는 모두 어떤 정밀도로 저장됩니다. 밀리미터 눈금 자인지 센티미터 눈금 자인지와 같습니다. 오랫동안 모델은 숫자 하나에 16비트나 32비트를 썼습니다. 그런데 많은 경우 8비트, 4비트, 심지어 2비트 미만으로도 충분하다는 사실이 드러나고 있습니다.
핵심만 간단히
모델의 가중치는 숫자입니다. 그것을 더 적은 비트로 저장하는 것은 반올림과 비슷합니다. 세부가 조금 사라지지만, 숫자마다 자리를 덜 차지하고, 더 빨리 읽히고, 더 작은 회로로 곱해집니다.
진짜 이득은 계산보다 이동에 있습니다. 본문의 에너지 그림이 보여 주듯, 메모리에서 숫자를 읽는 일은 그 숫자로 계산하는 것보다 수백 배 비쌉니다. 비트를 절반으로 줄이면 그 청구서도 절반이 됩니다.
어떻게 작동하나
요령은 묶음별 눈금 맞추기입니다. 숫자를 작은 묶음으로 모아 묶음마다 공통 눈금을 두면, 각 숫자는 이웃과의 관계로 몇 비트만으로 나타낼 수 있습니다. 가장 민감한 부분(처음과 마지막 층, 합산)은 높은 정밀도로 남겨 둡니다.
길은 두 가지입니다. 학습 뒤에 압축하기(빠르지만 아주 낮은 정밀도에서는 품질이 떨어짐), 또는 처음부터 낮은 정밀도로 바로 학습하기(모델이 처음부터 반올림과 함께 사는 법을 배움)입니다.
출처: Horowitz, Computing's Energy Problem (ISSCC 2014)
그림 I — 같은 모델, 더 적은 비트
가중치 10억 개를 저장하는 데 필요한 메모리
- 32 비트4 GB
- 16 비트2 GB
- 8 비트1 GB
- 4 비트0.5 GB
- 1.58 비트≈ 0.2 GB
값이 셋뿐이면 곱셈이 사라진다:
+1숫자를 더한다0건너뛴다−1숫자를 뺀다
설명용 그림입니다. 개념을 보여 줄 뿐 측정값이 아닙니다.
세 계단 아래로
유망
4비트: NVFP4(2025)
NVIDIA는 120억 매개변수 모델을 10조 단어로 4비트 학습시켰습니다. 공개된 같은 종류의 학습 가운데 가장 깁니다. MMLU-Pro에서 8비트의 62.62%에 대해 62.58%. 최신 칩에서 4비트는 8비트보다 2~3배 빠르고 메모리는 절반입니다. 층의 약 16%는 높은 정밀도로 남겼고, 코드는 조금 약해졌습니다.
출처: NVIDIA, Pretraining Large Language Models with NVFP4 (2025)
유망
1.58비트: BitNet b1.58(2024)
가중치는 모두 −1, 0, +1 가운데 하나입니다. 30억 매개변수부터는 같은 데이터로 학습한 16비트 모델과 맞먹으면서, 2.71배 빠르고 메모리는 3.55분의 1입니다. 700억에서는 4.1배 빠릅니다. 행렬 곱의 계산 에너지 추정치는 71분의 1입니다.
한계
기존 모델에는 지름길이 없습니다. 삼진 가중치는 처음부터 배워야 하고, 기존 모델을 이만큼 강하게 반올림하면 망가집니다. 하드웨어가 뒤처져 있습니다. BitNet의 이득은 그것을 위해 설계된 칩에서만 온전히 현실이 됩니다. 약한 작업: 코드와 정밀한 계산이 가장 먼저 타격을 받습니다. 그리고 모델이 데이터를 많이 볼수록 가중치가 세밀한 정보를 더 많이 담게 되어, 반올림할 여지가 줄어듭니다.
우리 가설에 주는 의미
H6의 세 번째 요인, 가중치 하나당 비트 수입니다. 우리 노트와의 닮은 점이 눈에 띕니다. 삼진 모델은 연결마다 방향(찬성, 반대, 중립)만 남깁니다. 마치 세부는 가중치에 둘 것이 아니라는 듯이요. 이것이 바로 우리가 제안하는 분담입니다. 큰 원리는 모델에, 정확한 세부는 바깥 기억에.
시험해 보고 싶은 것
같은 공개 모델을 16, 8, 4비트로 준비해 세 판에 OrigoTech 기사에 대한 같은 질문을 던져 보고 싶습니다. 우리 짐작으로는 추론보다 사실(날짜, 숫자)이 먼저 무너집니다. 그렇다면 사실을 가중치 바깥에 두어야 한다는 근거가 됩니다.