Llama 3 8B의 매개변수는 80억 개입니다. 가장 큰 공개 모델들은 1조 개 이상입니다. 새 거인을 만들지 않고 이 격차를 메울 수 있을까요? 우리의 답은 한 문장입니다. 작은 모델은 클 필요가 없고, 큰 모델이 가중치에 담아 둔 것에 닿을 수만 있으면 됩니다. 그 이유와 계산, 그리고 한계를 소개합니다.
유망업데이트
I
질문을 정직하게 세우기
Llama 3 8B는 2024년 4월에 나왔습니다. 15조 개가 넘는 토큰으로 학습했지만 매개변수는 80억 개뿐입니다. 맞은편의 Kimi K2는 1조 개이고, 최첨단 비공개 모델들은 공식 수치는 없지만 아마 그보다도 클 것입니다. 크기 차이는 125배에서 수백 배에 이릅니다.
'똑같이 뛰어나다'는 말을 분명히 하지 않으면 이 질문에는 답이 없습니다. 무엇에서, 그리고 얼마의 비용으로 똑같은가? 거인과 맞먹더라도 비용이 열 배 든다면 작은 모델은 아무것도 얻지 못한 셈입니다. 그래서 우리는 같은 수의 정답을 같거나 더 적은 비용으로 내는 작은 모델을 찾고, 그것이 어떤 종류의 과제에서 가능해 보이는지 말하겠습니다.
큰 모델이 더 잘할 때, 그 강점은 하나가 아니라 넷입니다. 넷은 같은 방식으로 메워지지 않으며, 바로 그것이 문제 전체의 열쇠입니다.
1. 지식, 곧 기억하는 사실입니다. 이 노트는 처음부터 보았습니다. 모델은 매개변수 하나에 약 2비트의 지식을 저장합니다. 계산해 봅시다. 80억 × 2비트 = 160억 비트, 즉 Llama 3 8B의 지식은 약 2GB입니다. 1조 매개변수 모델이라면 약 250GB. 비율은 125입니다.
2. 도달 범위: 모델이 적어도 가끔은 정답에 이를 수 있는가? 첫 시도에서 맞힐 확률을 p라고 합시다. p가 0이면 그 문제는 손이 닿지 않는 곳에 있습니다. 3. 신뢰성: p가 0은 아니지만 작습니다. 풀 줄은 아는데 자주 틀리는 상태입니다.
4. 폭: 모든 것을 조금씩 알고, 멀리 떨어진 분야를 잇고, 미묘한 차이를 알아채고, 하나의 '정답'이 없는 열린 질문을 판단하는 능력입니다.
우리의 핵심 생각은 이것입니다. 부분마다 저마다의 처방이 있습니다. 지식은 외부 메모리에 둡니다. 도달 범위는 선생님에게 배우거나 도구에서 빌립니다. 신뢰성은 심판이 있는 한 여러 번 시도해서 삽니다. 폭에는 간단한 처방이 없습니다. 매개변수가 정말로 무언가를 사 주는 곳이 바로 거기라고 우리는 생각합니다.
모델은 만들어 낼 방법이 없는 답에는 결코 이르지 못합니다. 처방은 두 가지입니다. 이미 아는 선생님에게 배우거나(증류), 그 능력을 가진 도구에서 빌리는 것입니다(계산기, 코드 실행기). 다음 두 연구는 '오래된' 뼈대로도 충분하다는 것을 보여 줍니다.
확립
오래된 뼈대에 새 선생님: DeepSeek-R1-Distill-Llama-8B
DeepSeek은 Llama 3와 같은 계열의 Llama 3.1 8B를, 큰 모델 R1이 쓴 추론으로 학습시켰습니다. 결과는 수학 경시대회 AIME 2024에서 50.4%(GPT-4o는 9.3%), MATH-500에서 89.1%(74.6%)였습니다. 과학(GPQA Diamond)에서는 49.0% 대 49.9%로 거의 동점입니다. 비교하자면, Meta는 자사 Llama 3.1 8B의 MATH 점수를 51.9%로 발표했습니다. 비슷하지만 똑같지는 않은 시험입니다. 매개변수의 수는 그대로입니다. 바뀐 것은 가르친 내용입니다.
ToRA는 모델에게 말로 하는 추론과, 실행시키는 작은 프로그램을 오가는 법을 가르칩니다. 계산이나 기호 대수를 맡기는 것입니다. Llama 2(2023년)를 바탕으로 만든 ToRA-7B는 MATH에서 44.6%에 이르렀습니다. 당시 최고의 공개 모델보다 22점 높은데, 그 모델은 열 배 큰 700억 매개변수였습니다. 340억 매개변수 판은 도구 없이 추론하는 GPT-4까지 앞섭니다. 도구는 계산을 틀리지 않습니다. 모델은 무엇을 부탁할지만 알면 됩니다.
p가 작더라도 0이 아니라면 처방은 원리상 간단합니다. 여러 번 시도해서 맞는 시도를 남기는 것입니다. 그러면 모든 것이 정답을 알아보는 심판에 달려 있게 됩니다. 세 연구가 이것이 어디까지 통하는지 쟀습니다.
확립
Large Language Monkeys: 250번의 시도(2024)
시도를 늘리면, 적어도 한 번은 풀린 문제의 비율이 네 자릿수에 걸쳐 꾸준히 올라갑니다. GitHub 프로젝트의 실제 이슈로 만든 벤치마크 SWE-bench Lite에서 한 모델은 한 번 시도로 15.9%, 250번으로 56%에 이르러, 당시 한 번 시도 최고 기록(43%)을 넘었습니다. 하지만 자동으로 확인할 수단이 없는 곳에서는 다수결이나 채점 모델로 고르는 방식이 수백 번을 넘으면 제자리걸음을 합니다.
잘 조율한 시도 전략과 추론 단계마다 점수를 매기는 모델을 쓰면, Llama 3.2 1B는 512번 시도로 MATH-500에서 72.2%를 냅니다. 한 번 시도한 Llama 3.1 405B는 71.4%입니다. 아슬아슬한 승리이고, 더 어려운 AIME 2024에서는 작은 쪽이 집니다. 우리의 계산으로는 10억 매개변수 모델의 512번 시도는 단어당 4,050억 매개변수 모델의 한 번 시도와 거의 같은 수의 매개변수를 씁니다(512 대 405). 심판 몫은 빼고서입니다. 계산량이 거의 같을 때 작은 쪽이 비기는 것입니다.
작은 모델이, 체스 프로그램이 수를 탐색하듯 풀이를 한 단계씩 탐색하고, 두 번째 작은 모델이 단계마다 판정합니다. 둘은 74만 7천 개의 문제로 네 차례에 걸쳐 함께 실력을 키웁니다. Qwen2.5-Math-7B는 MATH에서 58.8%에서 90.0%로, Phi3-mini(38억)는 41.4%에서 86.4%로 올라 o1-preview를 넘었습니다. 저자들은 더 강한 모델에서 증류하지 않았습니다.
사실에 대해서는 처방이 뻔해 보입니다. 외우지 말고 찾아보는 것입니다. 그런데 결과는 생각보다 미묘합니다. 그리고 전문 분야에는 다른 생각이 통합니다. 한 명의 만능형 대신 여러 작은 전문가를 두는 것입니다.
확립
MassiveDS: 찾아볼 수 있는 1조 토큰(2024)
워싱턴 대학교 팀은 모델이 답하면서 찾아보는 1.4조 토큰의 저장소를 만들었습니다. 사실을 묻는 질문(TriviaQA, Natural Questions)에서는 1,000억 토큰 미만의 저장소를 쓰는 Llama 2 7B가 저장소 없는 Llama 2 13B와 Llama 3 8B를 이깁니다. 하지만 더 많은 추론이 필요한 MMLU와 MedQA에서는 메모리가 있어도 작은 모델이 큰 모델을 앞지르지 못합니다. 찾아보면 사실은 얻지만, 사실들을 잇는 추론은 얻지 못합니다.
Predibase는 4비트LoRA 어댑터로 작은 모델 310개(기본 모델 10종 × 과제 31종)를 미세 조정했습니다. 평균적으로 각자의 과제에서 기본 모델을 34점, GPT-4를 10점 앞섰습니다. 게다가 기본 모델을 함께 쓰므로 Mistral 7B 전문가 25개가 80GB GPU 한 장에 들어갑니다. 한계도 있습니다. 범위가 분명한 좁은 과제이지, 자유로운 대화가 아닙니다.
단순한 모형을 세워 봅시다. 작은 모델의 한 번 시도가 맞을 확률을 p라고 합니다. k번의 독립적인 시도와 완벽한 심판이 있으면, 적어도 한 번 맞힐 확률은 1 − (1 − p)ᵏ입니다. 예를 들어 p = 30%로 5번 시도하면 1 − 0.7⁵ = 1 − 0.168 = 83%입니다.
첫 시도에서 80% 맞히는 큰 모델과 맞먹으려면 몇 번이 필요할까요? 1 − (1 − p)ᵏ ≥ 0.8, 즉 k ≥ ln(0.2) / ln(1 − p)여야 합니다. p = 30%면 5번, 12%면 13번, 5%면 32번, 0%면 결코 닿지 못합니다. 아래 그림이 이것입니다.
남은 것은 비용입니다. 작은 모델의 한 번 시도는 큰 모델 한 번의 c배 비용이 듭니다. 대략 단어당 활성 매개변수의 비율입니다. k × c < 1이면 작은 모델이 이득입니다. 두 식을 합치면 문턱이 나옵니다. p가 1 − 0.2ᶜ를 넘는 순간 작은 모델이 이깁니다. 이 문턱은 맞서는 거인에 따라 크게 달라집니다.
밀집 2조 매개변수 거인이 상대라면 c = 8 / 2,000 = 0.004이고 문턱은 0.6%까지 내려갑니다. 작은 모델이 드물게라도 할 수 있는 일은 거의 모두 이득이 됩니다. 활성 매개변수 1,000억 개의 전문가 혼합 거인이 상대라면 c = 0.08이고 문턱은 12%로 오릅니다. 활성 320억 개의 Kimi K2가 상대라면 c = 0.25이고 문턱은 33%에 이릅니다.
교훈은 두 가지입니다. 첫째, 거인이 알뜰할수록 이기기 어렵습니다. 자기의 작은 부분만 켜는 전문가 혼합 거인은 작은 모델의 이점을 줄입니다. 둘째, 심판이 핵심 부품입니다. 심판이 없으면 k번의 시도 가운데 무엇을 남길지 알 수 없습니다. 끝으로 정직한 주의 사항입니다. 우리의 계산은 시도들이 독립이고 심판이 공짜라고 가정합니다. 실제로 모델은 같은 실수를 되풀이하곤 하며, Brown과 공저자들은 우리 식보다 느린 상승을 관찰합니다. 시도 횟수가 두 배가 될 때마다 대략 같은 만큼 오르는 상승입니다. 그러니 이 계산이 말하는 것보다 더 많은 시도가 필요합니다.
각 곡선은 식 1 − (1 − p)ᵏ를 따릅니다. 심판이 정답을 알아볼 수 있을 때, k번의 시도 가운데 적어도 한 번은 맞힐 확률입니다. 점은 작은 모델이, 첫 시도에서 80% 맞히는 큰 모델을 따라잡는 자리를 표시합니다. 이상적인 계산입니다. 실제로는 같은 모델의 시도들이 서로 닮아서 더 많은 시도가 필요합니다.VII
계획: 작은 모델의 공방
우리의 제안입니다. 레오나르도의 공방에서 스승 주위로 도제와 도구가 모이듯, 노트의 갈래 길을 작은 모델 주위에 조립합니다. 부품은 여섯 가지입니다.
1. 배분기가 질문의 종류(계산, 코드, 사실, 글쓰기)를 알아보고 쓸모 있는 부품을 고릅니다. 2. 전문가 서고: 큰 모델에게서 배운, 분야마다 하나씩의 LoRA 어댑터입니다. 우리의 계산으로는 Llama 3 8B의 모든 층에 붙인 랭크 16 어댑터는 약 4,200만 매개변수로, 모델의 0.5%, 약 84MB입니다. 전문가 천 명이 84GB이고 한 번에 하나만 켜집니다. 시스템 규모의 전문가 혼합인 셈입니다.
3. 위계를 갖춘 외부 메모리: 제II장과 제III장에서처럼, 사실은 가중치가 아니라 나무와 그래프로 정리한 저장소에 둡니다. 4. 도구와 프로그램 상자: 계산기, 코드 실행기, 풀이기, 그리고 이미 찾아낸 프로그램을 Voyager의 기술 라이브러리처럼 다시 씁니다.
5. 심판: 코드라면 테스트, 수학이라면 검산, 그 밖에는 단계마다 점수를 매기는 모델입니다. 작은 모델이 여러 번 시도하고 심판이 고릅니다. 6. 마지막 수단: 심판을 통과하는 것이 없으면, 캐스케이드처럼 질문이 큰 모델로 올라갑니다. 그 답은 검증을 거친 뒤 다음 전문가를 학습시키는 데 쓰입니다. 피라미드의 위가 아래를 가르치는 것입니다(가설 H7).
마지막 계산으로 전체가 이득인지 알 수 있습니다. 질문 하나의 비용은 k × c(작은 모델의 시도)에, 큰 모델로 올라가는 질문의 비율 e를 더한 값입니다. c = 0.08로 8번 시도하면 0.64 + e입니다. 공방은 올라가는 질문이 36% 미만인 동안 이득입니다. 10%라면 비용은 0.74로, 거인만 쓸 때보다 약 4분의 1 쌉니다. 게다가 올라간 질문은 하나하나 전문가들을 살찌우므로 e는 시간이 갈수록 줄어들 것입니다.
좋은 소식이 있습니다. 가중치가 얼마나 오래되었는지보다, 그 뒤에 무엇을 가르치느냐가 더 중요합니다. ToRA는 Llama 2(2023년)를, DeepSeek-R1-Distill-Llama-8B는 Llama 3와 같은 계열인 Llama 3.1 8B를 바탕으로 만들었습니다. 두 경우 모두 좋은 예시로 추가 학습을 하자 결과가 껑충 뛰었습니다.
Llama 3 8B의 진짜 한계는 다른 데 있습니다. 문맥 창은 8,000토큰, 약 6,000단어, 열두어 쪽 분량입니다. 메모리에서 가져온 문서를 읽기에는 적습니다. Llama 3.1에서는 128,000으로 늘었습니다. 수학 출발점은 Meta에 따르면 MATH 30%입니다. 출발점이 낮을수록 p가 작고, 그만큼 시도가 더 필요하거나 선생님이 필요합니다.
오래된 모델을 위한 우리의 조리법은 이 순서입니다. 먼저 어댑터를 선생님에게서 배우게 해, 길게 추론하고 도구를 부를 줄 알게 합니다. 다음으로 메모리와 도구로 사실과 계산을 보탭니다. 마지막으로, 심판이 있는 곳에서는 심판과 함께 여러 번 시도합니다. 순서가 중요합니다. 여러 번 시도는 p가 이미 충분히 클 때만 통하고, p를 올리는 것은 선생님입니다.
심판이 없는 질문. 글을 쓰고, 조언하고, 답이 정해지지 않은 문제에 결론을 내리는 일. 어떤 시도가 가장 좋은지 프로그램은 알려 주지 못합니다. 다수결이나 채점 모델로 고르는 방식은 수백 번에서 제자리걸음을 합니다.
도달 범위 0.p가 0이면 몇 번을 시도해도 소용없습니다. 강화학습조차 기본 모델이 여러 번 시도해 찾는 범위를 넘지 못합니다. 그럴 때는 선생님이나 도구가 필요한데, 언제나 있는 것은 아닙니다.
폭. 흩어진 천 개의 사실을 잇고, 미묘한 차이를 알아채고, 긴 문서를 머릿속에 두는 일. 메모리는 구체적인 사실 하나에는 도움이 되지만, 많은 사실을 한꺼번에 쓰는 추론에는 훨씬 덜 도움이 됩니다. MassiveDS도 MMLU에서 작은 모델이 큰 모델을 앞지르게 하지 못했습니다. 매개변수가 정말로 무언가를 사 주는 곳이 바로 거기라고 우리는 생각합니다.
시간. 서른두 번의 시도에는 시간이, 아니면 나란히 돌아가는 기계들이 필요합니다. 매끄러운 대화를 위해서는, 전체 비용이 더 낮더라도 진짜 걸림돌입니다.
수학, 테스트가 있는 코드, 형식 증명에서 작은 모델은 정답에 가끔은 이르는 경우가 많습니다. 그것을 시도와 심판으로 늘리면 격차의 대부분이 메워집니다. 거인은 풀지만 작은 모델은 천 번을 시도해도 한 번도 못 푸는 문제가 많이 발견된다면 이 내기는 집니다.
추측
따로 떨어진 사실은 매개변수가 아니라 디스크로 산다 · 60%
답이 문서 하나에 들어 있는 질문이라면, 좋은 외부 메모리는 수천억 매개변수만큼의 값어치가 있습니다. 많은 사실을 엮어야 하는 질문이라면 훨씬 덜합니다.
추측
잘 갖춘 오래된 8B는 정해진 과제 목록에서 거인과 맞먹는다 · 55%
미리 정한 확인 가능한 과제들에서, 어댑터와 메모리, 도구, 심판을 갖춘 Llama 3 8B는 비슷한 비용으로 1조 매개변수 모델의 수준에 이를 것입니다. 이것이 우리의 가설 H8입니다.
추측
답이 정해지지 않은 과제에서는 격차가 남는다 · 70%
쓰고, 조언하고, 판단하는 일. 검증기가 없으면 시도를 늘려도 거의 소용이 없고, 폭은 어댑터 하나로 증류되지 않습니다. 이 영역에서는 거인들이 분명한 우위를 지킬 것이라고 우리는 생각합니다.
XI
해야 할 실험, 그리고 우리의 예측
Llama 3.1 8B를, 더 어렵게 하려면 Llama 3 8B를 골라 공방을 만듭니다. 그리고 같은 비용으로 최첨단 모델과 네 종류의 과제에서 비교합니다. 수학(MATH-500, AIME), 테스트가 있는 코드(LiveCodeBench), 메모리를 쓰는 사실(TriviaQA, Natural Questions), 그리고 사람이 판정하는 열린 질문입니다.
우리의 예측을 실험에 앞서 적어 둡니다. 틀렸을 때 지적할 수 있도록 하기 위해서입니다. 수학과 코드에서는 같거나 더 적은 비용으로 거인과 5점 이내. 사실에서는 좋은 메모리가 있으면 10점 이내. 열린 질문에서는 분명히 뒤처질 것입니다. 수학에서 격차가 15점을 넘으면 신뢰성에 관한 우리의 내기는 지는 것이고, H8을 낮추겠습니다.