확립
DeepSeek-V3: 큰 도서관, 작은 책상
매개변수 6,710억 개, 단어당 5.5%만 활성. 전체 학습에 H800 칩으로 278만 8천 GPU 시간이 들었는데, 그 수준에 비하면 소박한 예산입니다. 많은 시험에서 2024년 말 최고의 비공개 모델과 겨룹니다.
심화 · 제IV장
모델의 일부만 켜기
뇌는 단어 하나를 읽으려고 모든 신경세포를 깨우지 않습니다. 그런데 기존 모델은 모든 매개변수가 모든 단어에 일합니다. 새 세대는 필요한 부분만 깨웁니다.
핵심만 간단히
기존의('밀집') 모델은 직원 모두가 편지를 하나도 빠짐없이 읽는 회사와 같습니다. 전문가 혼합은 커다란 덩어리 하나를 여러 작은 전문가로 나누고, 단어마다 몇 명에게 맡기는 배분기를 둡니다.
노림수는 모델이 많이 알면서(매개변수가 많음) 단어마다 적게 계산하는(활성 매개변수가 적음) 것입니다. 전체 크기와 단어당 비용이 서로 다른 손잡이가 됩니다.
어떻게 작동하나
층마다 작은 신경망인 배분기가 지금 단어에 대해 전문가마다 점수를 매기고 상위 몇 명만 남깁니다. 계산은 그들만 합니다. 어려운 것은 균형입니다. 배분기가 늘 같은 전문가만 고르면 나머지는 배우지 못하고 하드웨어 일부가 놀게 됩니다.
DeepSeek-V3(2024년 12월)는 층마다 256명의 전문가와 공유 전문가 1명을 두고 단어마다 8명을 켭니다. 6,710억 개 중 370억 개의 매개변수가 활성화됩니다. 부하 균형은 흔히 쓰는 벌점 없이, 덜 쓰이는 전문가의 점수를 조금 올리고 지나치게 쓰이는 전문가의 점수를 조금 내리는 방식으로 맞춥니다.
출처: DeepSeek-AI, DeepSeek-V3 Technical Report (2024)
그림 F — 열여섯 전문가 중 둘
고양이가소파위에서조용히자고있다
2 / 16 전문가 작동 · 12.5 % (층 전체 대비)
설명용 그림입니다. 개념을 보여 줄 뿐 측정값이 아닙니다.
일을 덜어 내는 세 가지 방법
유망
Mixture-of-Depths: 쉬운 단어는 층을 건너뛴다
전문가를 고르는 대신 층마다 어떤 단어를 처리할지 고르고, 나머지는 그대로 통과시킵니다. 구글 딥마인드에서 이렇게 학습한 모델은 한 번 처리할 때 최대 50% 적은 연산으로 표준 모델과 맞먹고, 생성도 최대 50% 빨라졌습니다.
유망
Mixture-of-Recursions: 같은 층을 다시 쓰기
어려운 문장을 다시 읽듯 같은 층 묶음을 여러 번 적용하고, 단어마다 몇 번 거칠지는 배분기가 정합니다. 1억 3,500만에서 17억 매개변수까지, 같은 계산량에서 표준 모델을 앞서면서 매개변수는 더 적습니다(NeurIPS 2025).
한계
메모리는 줄지 않습니다. 6,710억 개의 매개변수는 모두 저장해야 하고, 여러 칩에 나뉘는 경우가 많습니다. 아끼는 것은 계산이지 저장 공간이 아니며, 단어는 기계 사이를 오갑니다. 요청을 묶기가 어려워집니다. 단어마다 길이 다르면 많은 사용자를 한꺼번에 처리하는 것, 즉 서버를 효율적으로 만드는 방식이 잘 통하지 않습니다. Mixture-of-Depths는 주로 요청을 하나씩 처리할 때 빛납니다. 학습이 불안정합니다. 배분기가 몇몇 전문가에게만 쏠릴 수 있습니다.
우리 가설에 주는 의미
이것이 H6의 첫 번째 요인, 즉 단어마다 일하는 모델의 비율입니다. 우리의 위계와도 맞닿습니다. 전문가는 지식을 분야별로 가로로 나누고, 우리의 피라미드는 추상 수준별로 세로로 나눕니다. 둘을 합칠 수도 있을 것입니다. 원리는 전문가에게, 세부는 기억에.
시험해 보고 싶은 것
공개된 전문가 혼합 모델의 속을 들여다보며, OrigoTech 기사로 전문가가 주제(경제, AI, 건강)에 따라 나뉘는지 형식(문장부호, 숫자, 문법)에 따라 나뉘는지 확인하고 싶습니다. 주로 형식이라면 전문가는 도서관처럼 지식을 정리하지 않는 것이고, 우리의 세로 위계는 아직 만들어야 할 것으로 남습니다.