지금까지 가설마다 숫자 하나만 붙어 있었고, 한 번에 정했습니다. 숫자가 하나뿐이면 의심이 어디에 숨어 있는지 보이지 않습니다. 여기서는 가설마다 모두 버텨야 하는 고리로 쪼개고, 고리마다 숫자를 매겨 곱한 뒤, 그 사이 나온 연구와 맞대어 봅니다. 네 가설은 뚜렷하게 내려가고, 셋은 오르며, 둘은 고쳐 씁니다. 그 추론을 숫자 하나하나 보여 드립니다.
추측업데이트
I
왜 가설을 다시 여는가
이 노트에는 가설이 아홉 개 있습니다. 저마다 내일의 AI에 대해 우리가 믿는 바를 확신 정도와 함께 말합니다. 75%, 40%, 55%… 이 숫자들은 정직했지만 통째로 매긴 것이었습니다. 가설 전체를 보고 '그럴 법한가?'를 물었던 것이지요.
문제는 가설이 하나의 주장인 경우가 드물다는 점입니다. 가설은 사슬입니다. A가 맞아야 하고, 그리고 B가 뒤따라야 하며, 그리고 C가 실제로 버텨야 합니다. 기상 예보관은 '내일 비 올 확률 70%'를 직감으로 말하지 않습니다. 전선이 올 확률, 충분히 습할 확률, 비껴가지 않을 확률을 조합합니다. 여기서 아홉 가설 각각에 대해 바로 그 일을 합니다.
II
방법: 고리로 쪼개기
1단계. 가설이 참이 되는 데 필요한 주장을, 오직 그것만 적습니다. 이것이 고리 a, b, c입니다.
2단계. 각 고리에 앞 고리가 맞다고 가정하고 숫자를 매깁니다. 이를 조건부 확률이라고 합니다. 'a가 맞다면 b의 확률은?'이라는 뜻입니다. 이 점이 중요합니다. 같은 사슬의 고리는 서로를 받쳐 주는 경우가 많아서, 따로따로 매기면 합계가 부당하게 낮아집니다.
3단계. 곱합니다. a가 90%, a를 전제로 한 b가 50%라면 사슬은 0.9 × 0.5 = 45%입니다. 곱은 언제나 가장 작은 인수보다 작습니다. 사슬은 가장 약한 고리보다 강할 수 없습니다.
함정이 두 개, 반대 방향으로 도사리고 있습니다. 첫째, 풍부하고 앞뒤가 맞는 이야기는 단순한 이야기보다 더 그럴듯해 보이지만, 더 많은 것을 요구하므로 반드시 확률이 낮습니다. 통째로 매긴 숫자에서 우리가 저지른 잘못이 이것입니다. 둘째, 고리를 너무 잘게 쪼개고 하나하나 조심스럽게 매기면 합계가 인위적으로 녹아내립니다. 그래서 가설마다 정말 필요한 고리 두세 개로 제한합니다.
마지막으로 일관성 규칙이 하나 있습니다. 한 가설이 다른 가설을 함축한다면, 앞의 가설이 뒤의 가설보다 더 확률이 높을 수는 없습니다. 특수한 경우가 그것을 낳는 일반 규칙보다 더 확실할 수는 없습니다. 이 규칙 덕분에 첫 번째 실수를 찾았습니다.
III
첫 발견: 두 가설이 서로 모순되었다
H7은 '심판은 가르칠 수 있다'고 했습니다. 모델은 시도하고 채점받으며 나아진다는 것이지요. 우리는 50%를 매겼습니다. 사흘 전에 더한 H9는 바깥 심판 덕분에 작은 모델이 평범한 컴퓨터에서 나아진다고 했고, 55%를 매겼습니다.
그런데 H9는 H7의 특수한 경우입니다. 심판이 PC에서 작은 모델을 나아지게 한다면, 심판은 가르칠 수 있는 셈입니다. 특수한 경우가 일반적인 경우보다 확률이 높을 수는 없었습니다. 두 숫자 중 하나는 틀렸습니다.
파고들어 보니, 모순은 낱말 하나에서 왔습니다. '가르치다'가 아주 다른 두 가지를 섞고 있었습니다. 벼리기: 모델이 가끔 찾던 것을 확실하게 만드는 것. 이는 확인되었습니다. Yue 등이 측정했고 모든 연구가 뒷받침합니다. 넓히기: 모델이 한 번도 찾지 못한 것을 찾게 하는 것. 논쟁이 되는 것은 바로 이쪽입니다.
그래서 H7을 바로잡습니다. 벼리기는 더 이상 가설이 아니라 사실이 됩니다. 이제 H7은 넓히기에 관한 가설, 진짜 열린 질문입니다. H9는 벼리기에 초점을 둔 채로 남고, 두 숫자는 더 이상 부딪치지 않습니다.
H1의 주장: 데이터의 구조(출처, 수준, 의존 관계)를 모델에 주면 필요한 예시의 양이 줄어든다.
고리 a, 85%: 구조 단서는 적어도 수십억 매개변수까지는 실제로 데이터를 아낀다. 고리 b, 65%: 그 이득은 큰 규모에서도 사라지지 않는다. 학습 순서에서 오는 이득은 규모가 커질수록 줄었기에 조심스러웠지만, 아래 결과는 6억에서 80억 매개변수까지 똑같이 나타납니다.
계산: 0.85 × 0.65 = 55%. H1은 조금 오릅니다. 남은 질문은 도움이 되는 것이 위계인지, 단순한 출처 꼬리표인지입니다. 연구는 사이트 주소라는 평평한 꼬리표를 씁니다. 우리 H1은 출처를 포함하므로 이것도 셈에 듭니다. 하지만 수준과 의존 관계를 쓰는 가장 야심 찬 형태는 아직 시험되지 않았습니다.
프린스턴의 Gao 등은 학습하는 동안 글마다 앞에 출처 주소(예: en.wikipedia.org)를 붙이기만 하고, 마지막에 뗍니다. 16억 매개변수 모델이 일반 학습과 같은 성능에 데이터 33%를 덜 쓰고 도달하며, 추가 연산은 들지 않습니다. 6억에서 80억 매개변수까지 그렇습니다. 모델이 만든 주제도 꼬리표로 쓸 수 있습니다.
고리 a, 92%: 지식을 묻는 질문에서 손해 없이 사실을 모델 밖으로 꺼낼 수 있다. RETRO, 메모리 층, Engram, 그리고 이번 HippoRAG 2가 이를 보여 줍니다. 고리 b, 82%: 비워진 자리는 같은 예산에서 실제로 더 나은 추론에 쓰인다. Engram은 3포인트를 올렸지만 일부는 지식 질문 덕분이라, 단서일 뿐 증명은 아닙니다. 고리 c, 85%: 찾아보는 비용(시간, 메모리 통신)은 실제 사용에서 감당할 만하다.
계산: 0.92 × 0.82 × 0.85 = 64%. 방법에 관한 가장 큰 교훈입니다. 고리 하나하나는 튼튼한데, 튼튼한 고리 셋이 모이면 그저 그런 사슬이 됩니다. 예전의 75%는 가장 설득력 있는 고리 a만 보고 나머지 둘을 잊었습니다.
HippoRAG 2는 글 조각을 그래프에 담고, 친구들 사이에 소문이 퍼지듯 그 안을 돌아다닙니다. 단순한 사실, 전체적인 이해, 멀리 떨어진 사실 사이의 연결(약 7포인트 향상) 모두에서 일반 검색을 앞섰습니다. 이전 그래프 방식은 단순한 사실에서 뒤처지던 부분입니다.
H3의 예전 주장: 어디서든 규칙과, 거기서 벗어나는 데이터만 남기면 지식을 압축할 수 있다.
쪼개 보면 일반적인 형태는 무너집니다. 고리 a, 80%: 프로그램이 확인할 수 있는 분야에서는 예시에서 규칙을 끌어낼 수 있다(AlphaEvolve, FunSearch). 고리 b, 60%: 규칙 + 예외를 남기면 학습 데이터가 실제로 줄어든다. 데이터를 잘 고르면 학습 곡선의 모양이 바뀌니 고무적입니다. 고리 c, 45%: 이것이 예외와 뉘앙스로 가득한 일상 언어에까지 넓어진다. 곱은 0.8 × 0.6 × 0.45 = 22%입니다.
너무 넓은 가설을 붙들기보다, 믿을 이유가 실제로 있는 확인 가능한 분야로 범위를 좁힙니다. 0.8 × 0.6 = 48%. 고리 c는 사라지지 않고 나중의 질문이 됩니다. 범위를 좁히는 것은 그렇다고 밝히는 한 속임수가 아닙니다. 더 좁은 가설은 주장하는 바가 적으니, 참일 가능성이 더 큽니다.
H4의 주장: 모델의 각 세대가 이전 세대에게서 배울 때, 드문 원본 데이터를 남겨 두면 표류를 막을 수 있다.
고리 a, 90%: 표류는 드문 사례부터 덮친다. Shumailov 이후 확인되었습니다. 고리 b, 75%: 진짜 데이터를 남기면 표류를 막는다. Gerstgrasser는 바꾸지 않고 쌓으면 막을 수 있음을 보였지만, 2025년 연구는 인공 데이터 조금으로도 발전이 멈출 수 있음을 보였습니다. 고리 c, 65%: 전부가 아니라 드문 사례만 남겨도 충분하다. 이것은 우리의 절약판이고, 아무도 시험하지 않았습니다.
계산: 0.9 × 0.75 × 0.65 = 44%. 노트에서 가장 큰 하락입니다. 예전의 70%는 아주 튼튼한 고리 a에 기대고 나머지 둘을 당연하게 여겼습니다. 거꾸로 따져 봅시다. 예외만 남겨서는 부족할 가능성이 더 클까요? 아무도 시도하지 않은 지금으로서는, 조금 그렇습니다. 44%가 말하는 바가 바로 그것입니다.
Dohmatob 등은 단순화한 수학적 틀에서, 이어서 언어 모델에서, 학습 데이터에 인공 데이터가 겨우 1%만 섞여도 모델이 데이터를 늘려도 이득을 보지 못할 수 있음을 보였습니다. 학습 곡선이 더 내려가지 않는 것이지요. 게다가 큰 모델일수록 그 효과를 키울 수 있습니다. 섞기만 해서는 늘 충분하지 않습니다. 무엇을 남길지 알아야 합니다.
H6의 주장: 전문가, 단계적 호출, 낮은 정밀도, 더 나은 하드웨어를 겹쳐 쌓으면, 새로운 거대 모델 없이도 답 하나의 비용이 100분의 1로 떨어진다.
고리 a, 95%: 지렛대 하나만으로도 비용을 2~4분의 1로 줄인다. 고리 b, 55%: 지렛대들이 충분히 독립적이어서, 그 곱이 3배 오차 안에서 성립한다. 이것이 약한 고리입니다. 암달의 법칙은 일부를 빠르게 해도 그 부분에만 도움이 된다고 말합니다. 고리 c, 80%: 실제로 100분의 1에 이른다.
계산: 0.95 × 0.55 × 0.8 = 42%. 종합 페이지보다 b를 올린 까닭은 무엇일까요? 현실 세계가 우리 대신 실험을 해 주었기 때문입니다. 같은 성능이라면, 가격은 어떤 지렛대 하나로 설명할 수 있는 것보다 훨씬 빨리 떨어졌습니다. 지렛대가 겹쳐 쌓인다는 간접 증거입니다. 하지만 그 하락은 더 잘 학습한 새 모델에서도 왔고, 그것은 H6가 제외하는 부분입니다. 그래서 고리 b는 55%, 그 이상은 아닙니다.
Epoch AI의 측정에 따르면, 성능을 고정했을 때 답 하나의 가격은 과제에 따라 해마다 9~900분의 1로 떨어집니다. 박사 수준 과학 질문에서 GPT-4 수준에 이르는 비용은 해마다 40분의 1이 되었습니다. 더 신중한 다른 연구는 최첨단 모델에 대해 해마다 5~10분의 1을 찾았고, 반대로 최첨단 모델 자체를 쓰는 비용은 모델이 커지고 더 오래 추론하면서 계속 오른다고 지적합니다.
H7의 새 주장: 길고 다양한 학습을 이어 가면, 믿을 만한 심판은 모델이 수천 번 시도해도 한 번도 찾지 못한 해답을 찾게 해 준다.
고리 a, 95%: 심판은 모델을 더 확실하게 만든다. 확인되었습니다. 고리 b, 45%: 학습을 늘리면 모델이 찾을 수 있는 범위를 넓힌다. 두 팀(같은 연구자가 끼어 있을 때가 많습니다)이 서로 응수합니다. 한쪽은 특히 코드에서 실제 확장을 보이고, 다른 쪽은 일반적으로 모델이 얻는 것보다 더 많은 해답에 대한 접근을 잃는다고 보입니다. 상징적이게도 두 번째 연구의 제목에는 최신판에서 물음표가 붙었습니다.
계산: 0.95 × 0.45 = 43%. 예전의 50%보다 낮지만, 더 강하고 더 분명한 주장에 대한 값입니다. 노트의 앞날에 가장 중요한 가설입니다. 이것이 무너지면, 작은 모델은 혼자서는 원래 우연히 찾던 것을 결코 넘어서지 못합니다.
NVIDIA의 Liu 등은 학습을 안정시키고 과제를 다양하게 하면서 15억 매개변수 모델을 오래 학습시켰습니다. 모델은 출발 모델이 몇 번을 시도해도 풀지 못한 문제를 풉니다. 다만 저자들 스스로 지적하듯, 출발 모델이 이미 강했던 수학에서는 128번 시도 정답률이 자주 떨어집니다.
ProRL 저자 여럿이 함께한 Wu 등은 학습을 한 걸음씩 따라갔습니다. 여러 테스트에서 확인한 것은, 강화 학습이 첫 시도를 개선하지만 얻는 것보다 더 많은 정답에 대한 접근을 잃는다는 점입니다. 모델은 출발점에 목줄로 묶여 있습니다. 그 줄을 끊으려면, 모델이 결코 탐색하지 않는 영역에 생각의 씨앗을 뿌려야 할 것입니다.
H8의 주장: 확인할 수 있는 과제에서는, 잘 갖춘 80억 매개변수 모델이 백 배 큰 모델과 맞먹는다. 그것도 비슷하거나 더 낮은 비용으로.
고리 a, 90%: 같은 점수에 이른다. 수학에서는 확인되었습니다. 512번 시도를 걸러 낸 10억 매개변수 모델이 4050억 매개변수 모델을 앞섭니다. 고리 b, 60%: 모든 시도와 심판을 셈한 총비용으로, 자기 일부만 켜는 전문가 혼합 거인과 견주어도 비슷하다. 고리 c, 85%: 수학과 코드를 넘어 다른 확인 가능한 과제에서도 통한다.
계산: 0.9 × 0.6 × 0.85 = 46%. 의심의 핵심은 고리 b이고, 예전의 55%는 그것을 슬쩍 넘겼습니다. 그래도 작은 모델을 돕는 새 자료가 있습니다. 집에서 돌릴 수 있는 것이 거인을 빠르게 따라잡는다는 것입니다.
Epoch AI의 측정에 따르면, 일반 소비자용 그래픽카드 한 장에 들어가는 최고의 공개 모델은 테스트에 따라 최첨단보다 약 6~12개월 뒤처질 뿐입니다. 다만 주의도 덧붙입니다. 작은 모델은 테스트에 맞춰 최적화된 경우가 많아, 실제 격차는 아마 조금 더 길 것입니다.
H9의 주장: 평범한 컴퓨터에서 바깥 심판은 작은 모델을 뚜렷하게 나아지게 한다. 여러 번 시도해 찾던 수준이라는 천장까지.
고리 a, 75%: 고른 한 계열만이 아니라 어떤 최신 작은 모델에서든 향상이 뚜렷하다(최소 5포인트). 고리 b, 90%: 게임용 카드 한 장으로 일주일이면 된다. 앞 페이지의 계산입니다. 고리 c, 80%: 천장에 대한 설명이 맞다. 보이지 않는 목줄은 이를 뒷받침하고, ProRL은 반박하지만 일주일보다 훨씬 긴 학습 뒤의 이야기입니다.
계산: 0.75 × 0.9 × 0.8 = 54%. 거의 그대로지만 의심의 자리가 바뀌었습니다. 아래 연구 때문에 이제 고리 a에 있습니다. 우리가 계획한 실험은 Llama를 쓰는데, 바로 쉬운 효과가 사라지는 계열입니다. 오히려 잘된 일입니다. 그만큼 더 설득력 있는 실험이 됩니다.
Shao 등은 Qwen2.5-Math-7B를 무작위로 뽑은 보상으로 강화 학습시켰습니다. MATH-500 테스트에서 21.4포인트가 올라, 진짜 정답으로 얻은 29.1포인트에 가까웠습니다. 강화 학습은 주로 이미 있던 습관(코드로 생각하기)을 깨운 것입니다. Llama 3이나 OLMo 2에서는 이 가짜 보상이 거의 아무것도 주지 않습니다. 교훈: 승리를 외치기 전에 여러 계열에서 시험할 것.
내려간 것: H2(75 → 64), H4(70 → 44), H8(55 → 46), H7(50 → 43, 고쳐 씀), 그리고 H9가 1포인트. 거의 언제나 같은 이유입니다. 가장 눈에 띄는 고리에 숫자를 매기고 나머지는 당연하게 여겼던 것이지요.
올라간 것: 새 연구 덕분에 H1(50 → 55), 측정된 가격 하락 덕분에 H6(35 → 42), 범위를 좁혀 H3(40 → 48). H5는 거의 움직이지 않습니다.
노트의 큰 주장은 세 가설에 기대고 있습니다. 바깥 메모리(H2), 그래프로 정리하기(H5), 심판과 함께 나아지는 작은 모델(H9)입니다. 서로 독립이라면 0.64 × 0.64 × 0.54 = 22%. 완전히 독립은 아니므로(같은 기술적 현실이 셋을 떠받칩니다), 실제 값은 더 높되 가장 약한 54%를 넘지는 않습니다. 우리는 약 30%로 봅니다. 계획 전체가 버틸 가능성은 반반이 안 됩니다. 그러니 고리 하나하나 결판을 내야 합니다.
그림 O — 의심은 어디에 숨어 있나
현재 확신(고리들의 곱)이전 확신고리 a, b, c
설명용 그림입니다. 개념을 보여 줄 뿐 측정값이 아닙니다.
각 줄이 가설 하나입니다. 원은 그 고리이며, 앞 고리가 맞다고 가정하고 숫자를 매겼습니다. 막대는 그 곱, 곧 새 확신이고, 빨간 선은 예전 확신입니다. 가설은 가장 약한 고리만큼, 아니 그보다 조금 더 약합니다. 막대는 언제나 가장 왼쪽 원보다 왼쪽에서 끝납니다.XIV
결판을 낼 세 가지 실험
어떤 실험이 우리 숫자를 가장 크게 움직일까요? 실험마다 가능한 결과, 그 확률, 거기서 나올 확신을 적습니다. 일관성 규칙이 하나 있습니다. 실험 뒤 확신의 평균은 실험 전 확신과 같아야 합니다. 그렇지 않다면 결과가 어느 쪽으로 기울지 이미 아는 셈이니, 지금 당장 숫자를 바꿔야 합니다. 세 실험 모두 이 규칙을 확인했습니다.
그다음 기대되는 움직임을 잽니다. 확신의 변화를 확률로 가중한 합입니다. 클수록 그 실험에서 많이 배웁니다.
추측
E1 · 두 계열, 진짜 심판 대 무작위 심판 · 약 20유로
앞 페이지의 실험을 Llama와 Qwen으로, 진짜 보상과 무작위 보상 모두로 합니다. 게임용 카드로 4주입니다. 결과는 세 가지. Llama가 진짜 심판일 때만 뚜렷하게 나아지고 천장은 그대로(55%) → H9 66%, H7 37%. Qwen만 나아진다(25%) → H9 25%, H7 38%. Llama가 나아지고 64번 시도 정답률도 껑충 뛴다(20%) → H9 60%, H7 65%. 평균은 H9 54.6%, H7 42.9%로 들어맞습니다. 기대되는 움직임: 24포인트.
추측
E2 · 위계 꼬리표 대 평평한 꼬리표 · 약 1만 6000 GPU시간
10억과 80억 매개변수 모델을 꼬리표 없이, 출처 주소와 함께, 수준과 의존 관계와 함께 학습시킵니다. 결과는 세 가지. 위계가 평평한 꼬리표를 이기고 80억에서도 유지된다(50%) → H1 75%. 평평한 꼬리표만 돕고 그 이득은 녹아 사라진다(30%) → H1 40%. 80억에서는 아무것도 남지 않는다(20%) → H1 25%. 평균 54.5%로 들어맞습니다. 기대되는 움직임: 약 20포인트. 비용: 매개변수 하나, 단어 하나당 6번의 연산, 매개변수당 20단어, 이를 세 가지로, 칩 하나당 초당 400조 번의 유효 연산(가정)으로 치면 데이터센터 GPU로 약 1만 6000시간. 연구소의 일입니다.
추측
E3 · 다섯 세대: 모두 남기기, 드문 것만, 아무것도 · 약 50 GPU시간
작은 모델(1억 2500만 매개변수)이 각각 이전 모델에게서 다섯 번 연속으로 배웁니다. 진짜 데이터를 모두 남기거나, 가장 드문 5%만 남기거나, 아무것도 남기지 않습니다. 결과는 세 가지. 드문 5%가 전부만큼 효과가 있다(40%) → H4 75%. 절반쯤 돕는다(45%) → H4 25%. 전부 남겨도 부족하다(15%) → H4 20%. 평균 44.3%로 들어맞습니다. 기대되는 움직임: 약 25포인트. 빌린 GPU로 50시간 남짓(글 생성을 포함한 우리의 어림)입니다.
XV
이 숫자로 무엇을 할 것인가
실험의 순서는 계산에서 나옵니다. E1과 E3는 E2의 수백분의 1에서 수천분의 1 비용으로 적어도 그만큼 가르쳐 줍니다. E1은 평범한 컴퓨터로, E3는 몇 시간 빌린 연산으로 됩니다. 이 둘을 먼저 하기를 권합니다.
고쳐 쓰기 규칙. 나중에 속이지 않기 위한 것입니다. 가설의 숫자는 고리가 바뀔 때만 바꾸고, 어느 고리인지 밝힙니다. 고리 하나가 20% 아래로 떨어진 가설은 습관으로 남겨 두지 않고, 고쳐 쓰거나 거둬들입니다. 그리고 새 가설은 모두 처음부터 고리로 쪼갠 채로 들어옵니다.
이 페이지로 얻은 것은 숫자 하나가 늘어난 것이 아닙니다. 가설마다 어떤 문장을 정확히 증명하거나 반박하면 되는지 알게 된 것입니다. 어떻게 쓰러뜨릴지 아는 가설이야말로 쓸모 있는 가설입니다.