내일의 AI 용어집
KO

← 노트로 돌아가기

심화 · 제V장

평범한 컴퓨터에서 스스로 나아지는 작은 모델?

앞 페이지에서는 거인이 작은 모델의 스승이었습니다. 여기서는 그 거인을 뺍니다. 남는 것은 80억 매개변수 모델과 게임용 컴퓨터, 그리고 비어 있는 밤뿐입니다. 우리의 답은 한 문장으로 요약됩니다. 스승이 학생보다 똑똑할 필요는 없습니다. 맞고 틀림을 가릴 줄만 알면 됩니다. 이제 그 추론과 계산, 그리고 그리 쉽게 뚫리지 않는 천장을 살펴봅니다.

유망 업데이트

I

생각을 간단히

문제집과 해답지만 가진 채 혼자 공부하는 학생을 떠올려 보세요. 아무도 설명해 주지 않습니다. 학생은 풀어 보고, 해답지와 맞춰 보고, 통했던 방법을 기억하고, 다시 시작합니다. 몇 주가 지나면, 예전에는 다섯 번에 한 번밖에 못 풀던 문제를 첫 시도에 풀게 됩니다.

언어 모델도 똑같이 할 수 있습니다. 같은 문제를 여러 번 시도하고, 심판이 맞은 시도를 골라내면, 모델은 자신의 성공 사례로 학습합니다. 이것이 자기 학습입니다. STaR라는 방법이 2022년에 이미 이를 보여 주었고, 구글의 ReST-EM은 사람이 쓴 풀이로 배우는 것보다 골라낸 자신의 시도로 배울 때 더 좋은 결과를 냈습니다.

핵심은 심판이 큰 모델이 아니라는 점입니다. 심판은 해답지이고, 테스트이고, 게임의 규칙입니다. 확인하는 것은 찾는 것보다 훨씬 쉽습니다. 덧셈이 맞는지 확인하는 일은 순식간이지만, 정리의 증명을 찾는 데는 몇 년이 걸릴 수도 있습니다. 이 비대칭 덕분에 '똑똑하지 않은' 스승이 자기보다 똑똑한 학생을 가르칠 수 있습니다.

출처: Zelikman et al., STaR: Bootstrapping Reasoning With Reasoning (2022), Singh et al., Beyond Human Data: Scaling Self-Training for Problem-Solving (2023)

II

왜 통할 수 있을까: 숨은 여유

모델에게는 점수가 두 개 있습니다. 하나는 첫 시도의 정답률입니다. 다른 하나는 여러 번 시도했을 때의 정답률, 즉 적어도 한 번은 맞힐 확률입니다. 연구자들은 이를 pass@1, pass@k라고 씁니다. 둘의 차이는 아주 클 수 있습니다. Brown 등의 연구에서는 시도 횟수를 두 배로 늘릴 때마다 풀린 문제의 비율이 꾸준히 올라갔습니다.

그 차이는 숨은 실력입니다. 모델은 답을 찾는 법을 '알고' 있지만, 확실하지는 않습니다. 자기 학습은 숨은 실력을 확실한 실력으로 바꿉니다. 새로운 것은 거의 만들지 않습니다. 운에 맡기던 일을 확실하게 만들 뿐입니다.

그것이 한계이기도 하며, 뒤에서 다시 다룹니다. Yue 등은 강화 학습이 pass@1을 올리지만, 시도 횟수를 많이 늘리면 처음 모델도 같은 수의 문제를, 혹은 더 많이 푼다는 것을 관찰했습니다. 이 그림을 기억하세요. 학습은 컵을 채울 뿐, 컵을 키우지는 않습니다. Llama 3 8B 같은 오래된 모델에게는 좋은 소식입니다. 최신 모델보다 덜 확실한 만큼 컵이 더 비어 있을 때가 많고, 그만큼 채울 여지가 큽니다.

출처: Brown et al., Large Language Monkeys (2024), Yue et al., Does RL Really Incentivize Reasoning Capacity Beyond the Base Model? (NeurIPS 2025)

III

스승이 없을 때 누가 '맞다'고 말할까?

모든 것은 심판에 달려 있습니다. 평범한 컴퓨터가 혼자 돌릴 수 있는 심판을, 가장 믿을 만한 것부터 가장 위태로운 것까지 차례로 살펴봅니다.

확립

해답지: 답이 알려진 문제

최종 답이 붙은 수학 문제는 수천 개나 있습니다. 심판은 두 수를 비교하기만 하면 됩니다. 이것이 MATH 테스트에서 쓰인 ReST-EM의 심판입니다. 생성하고, 맞은 시도를 남기고, 다시 학습하고, 되풀이합니다. 단순하고 튼튼하지만, 문제의 양에는 끝이 있습니다.

출처: Singh et al., Beyond Human Data: Scaling Self-Training for Problem-Solving (2023)

유망

테스트: 코드를 돌려 보고 확인하기

코드라면 심판은 컴퓨터 자신입니다. 프로그램을 실행해 테스트를 통과하는지 봅니다. Absolute Zero는 한 걸음 더 나아갑니다. 모델이 스스로 프로그래밍 문제를 만들고, 파이썬 인터프리터가 확인하며, 바깥 데이터 없이 배웁니다. 저자들은 사람이 고른 예시 수만 개로 학습한 모델보다 낫다고 보고합니다.

출처: Zhao et al., Absolute Zero: Reinforced Self-play Reasoning with Zero Data (2025)

유망

게임의 규칙: 스스로 채점되는 문제

Countdown이라는 게임은 몇 개의 수와 사칙연산으로 목표 수를 만드는 것입니다. 풀이를 확인하는 데는 계산 한 줄이면 됩니다. 버클리의 TinyZero는 강화 학습으로 30억 매개변수 모델에게 이 게임을 가르쳤고, 모델은 틀렸을 때 계산을 다시 확인하고 다른 방법을 찾는 습관을 스스로 익혔습니다. 계산 비용은 모두 합쳐 30달러 미만이었습니다.

출처: Pan et al., TinyZero (2025)

추측

당신: 바로잡아 주는 사용자

당신의 컴퓨터에서는 당신이 무료 심판입니다. 제안된 코드가 멈췄나요? 답을 손으로 고쳤나요? 그런 수정 하나하나가 정답이 붙은 예시가 됩니다. 이는 우리 자신의 아이디어로, 여기서 시험해 보지는 않았습니다. 낮 동안의 수정으로 밤에 배우는 내 컴퓨터 속 모델입니다. 위험은 사람 심판이 지치고 실수한다는 점입니다.

유망

다수결: 자기 답의 다수를 믿기

해답지가 없어도, 64번 답하고 가장 많이 나온 답을 '정답'으로 삼을 수 있습니다. TTRL은 답이 알려지지 않은 문제에서 바로 그렇게 하며, 70억 매개변수 모델의 AIME 2024 대회 성적이 약 211% 올랐다고 보고합니다. 다만 본질적으로 위태롭습니다. 다수가 틀리면 모델은 그 실수를 배웁니다.

출처: Zuo et al., TTRL: Test-Time Reinforcement Learning (2025)

IV

이미 보여 준 것

무엇을 기대할 수 있는지 보여 주는 결과가 두 가지 있습니다. 하나는 오래되고 튼튼하며, 다른 하나는 최근에 나와 눈길을 끕니다.

확립

STaR: 자신의 추론에서 배우기(2022년)

모델이 추론을 쓰고, 정답으로 이어진 것만 남깁니다. 실패하면 답을 슬쩍 알려 주고, 그 답에 이르는 추론을 다시 쓰게 합니다. 이것을 '합리화'라고 부릅니다. CommonsenseQA에서 그 결과는 보통 방식으로 학습한 30배 큰 모델과 맞먹었습니다.

출처: Zelikman et al., STaR: Bootstrapping Reasoning With Reasoning (2022)

유망

예시 하나로도 크게 달라진다(2025년)

단 하나의 문제와 답을 확인하는 강화 학습만으로, 15억 매개변수 모델이 MATH500 테스트에서 36.0%에서 73.6%로 올랐습니다. 주의할 점이 있습니다. 상승의 상당 부분은 모델이 답을 올바른 형식으로 제시하는 법을 익힌 덕분이고, 저자들은 그 효과를 뺀 상승을 8.6포인트로 측정했습니다. 실력이 이미 숨어 있었다는 증거입니다.

출처: Wang et al., Reinforcement Learning for Reasoning with One Training Example (2025)

V

평범한 컴퓨터에 들어갈까?

Llama 3.1 8B, 즉 80.3억 매개변수로 계산해 봅시다. 16비트로 저장하면 16GB여서, 대부분의 그래픽카드에는 들어가지 않습니다. 두 가지 요령이 모든 것을 바꿉니다.

첫 번째 요령: 가중치를 4비트로 반올림하기. QLoRA와 같은 방식입니다. 80.3억 × 0.5바이트 = 4.0GB. QLoRA는 이렇게 해서 650억 매개변수 모델을 48GB 카드 한 장에서 품질 손실 없이 미세 조정할 수 있음을 보여 주었습니다.

두 번째 요령: 가중치는 건드리지 않고 어댑터를 더하기(LoRA). 80억 개의 가중치는 얼려 두고, 옆에 붙인 작은 행렬만 학습합니다. Llama 3 8B의 모든 층에 랭크 16을 넣으면 4190만 매개변수, 모델의 0.5%, 84MB가 나옵니다. 학습할 때는 각각에 대해 4바이트짜리 수를 네 개씩 둡니다(매개변수, 그 수정량, 최적화 기법의 평균값 두 개). 4190만 × 16바이트 = 0.67GB입니다.

작업용 메모리도 더합시다. 글을 쓸 때 모델은 이미 쓴 단어 하나마다 128KB를 기억해 둡니다. 1000단어짜리 시도 16개를 동시에 진행하면 2.1GB가 듭니다. 학습 자체에 몇 GB를 더 잡습니다. 합계 9~10GB. 12GB 게임용 카드에 들어가고, 16GB나 24GB라면 넉넉합니다.

뜻밖의 덤도 있습니다. 어댑터는 덜 잊습니다. Biderman 등은 LoRA가 코드와 수학에서 전체를 다시 학습하는 방식보다 덜 배우지만, 모델이 다른 분야에서 이미 하던 일을 더 잘 지킨다는 것을 보였습니다. 몇 주씩 혼자 학습하는 모델에게는 빨리 배우는 것보다 덜 잊는 것이 더 중요합니다.

출처: Dettmers et al., QLoRA: Efficient Finetuning of Quantized LLMs (2023), Biderman et al., LoRA Learns Less and Forgets Less (2024), Meta, Llama 3.1 8B Instruct model card (2024)

VI

하룻밤의 작업, 시간대별로

8시간의 밤을 세 부분으로 나눕니다. 시도 6시간, 학습 1시간, 점검 1시간입니다.

시도(6시간). 고성능 게임용 카드는 초당 약 1000GB의 속도로 메모리를 읽습니다. 더 수수한 카드는 두세 배 느리고, 그만큼 하룻밤의 시도 횟수도 두세 배 줄어듭니다. 단어 하나를 쓸 때마다 모델은 4GB의 가중치를 다시 읽습니다. 시도 하나만 돌리면 초당 250단어 정도가 한계입니다. 시도 16개를 나란히 돌리면, 같은 읽기로 16단어를 씁니다. 여기서는 초당 1000단어라는 신중한 가정을 둡니다. 6시간이면 6 × 3600 × 1000 = 2160만 단어, 1000단어짜리 시도로 약 21,600번입니다. 2500문제를 각각 8번(20,000번) 시도하고도 여유가 남습니다.

학습(1시간). 맞은 시도는 문제당 최대 두 개만 남기므로, 예시는 최대 5000개, 하나에 약 500단어로 250만 단어입니다. 학습에는 넉넉히 잡아 매개변수 하나, 단어 하나당 6번의 연산이 듭니다. 6 × 80억 × 250만 = 1.2 × 10¹⁷번의 연산. 실효 속도가 초당 40조 번(가정입니다. 이 카드들의 최대 성능보다 한참 낮은 값)이라면 50분이 걸립니다.

점검(1시간). 모델에게 처음 보는 작은 시험과 일반적인 질문 묶음을 풀게 해서, 아무것도 잊지 않고 나아졌는지 확인합니다. 일반 점수가 떨어지면 그날 밤의 어댑터는 버립니다. 이것이 방법 전체의 안전벨트입니다.

전기. 게임용 PC를 최대로 돌리면 약 450W를 씁니다(우리의 가정). 450W × 8시간 = 3.6kWh. 2026년 10월 프랑스 규제 요금, kWh당 약 0.20유로로 치면 하룻밤 0.72유로, 일주일에 약 5유로입니다.

VII

계산: 밤을 거듭하면 어디까지?

장난감 모형을 만들어 봅시다. 문제의 어려움은 우리 모델에게 고르지 않습니다. 4분의 1은 한 번도 풀지 못하고, 15%는 열 번에 한 번, 25%는 열 번에 여섯 번, 35%는 열 번에 아홉 번 푼다고 합시다. 첫 시도 정답률은 0.15 × 10% + 0.25 × 60% + 0.35 × 90% = 48%입니다.

밤마다 문제마다 8번씩 시도합니다. 열 번에 한 번 푸는 문제가 적어도 한 번 맞을 확률은 1 − 0.9⁸ = 57%입니다. 대략 이틀 밤에 한 번꼴로 배울 예시를 하나 내줍니다. 한 번도 풀지 못한 문제는 아무것도, 결코 내주지 않습니다.

배운 예시 하나마다 그 문제가 남은 거리의 30%만큼 정답에 다가간다고 해 봅시다. 점수는 이틀 밤 만에 48%에서 60%로, 일주일이면 73%로 오르고, 그 뒤로는 느려집니다. 학습이 세 배 느리면(10%) 일주일에 61%에 그칩니다. 하지만 두 경우 모두 곡선은 같은 선에 다가갑니다. 75%, 바로 처음 모델이 64번 중 적어도 한 번은 풀던 문제의 비율입니다.

이것이 천장의 법칙입니다. 한 문장으로 말하면, 자기 학습은 첫 시도의 점수를 여러 번 시도했을 때의 점수에 가깝게 할 뿐, 그 너머로 데려가지는 않습니다. Yue 등의 관찰을 우리 나름대로 숫자로 옮긴 것입니다. 이 장난감 모형은 한 가지 점에서 낙관적입니다. Llama 3.1 8B는 사전 학습 뒤에 이미 이런 종류의 문제로 조정되었기 때문에, 여유의 일부는 벌써 쓰인 상태입니다.

출처: Yue et al., Does RL Really Incentivize Reasoning Capacity Beyond the Base Model? (NeurIPS 2025)

그림 N — 밤마다 점수가 오르며 천장에 다가간다

빠른 학습: 7일 밤 뒤 73%느린 학습: 7일 밤 뒤 61%

설명용 그림입니다. 개념을 보여 줄 뿐 측정값이 아닙니다.

측정이 아니라 장난감 모형입니다. 처음에는 문제의 4분의 1을 한 번도 풀지 못하고, 15%는 열 번에 한 번, 25%는 열 번에 여섯 번, 35%는 열 번에 아홉 번 풉니다. 첫 시도 정답률은 48%입니다. 밤마다 문제당 8번 시도하고, 적어도 한 번 맞으면 학습이 그 문제를 정답 쪽으로 끌어당깁니다(남은 거리의 30% 또는 10%). 속도는 학습에 달려 있지만, 천장은 움직이지 않습니다. 한 번도 풀지 못한 문제에서는 배울 것이 전혀 나오지 않기 때문입니다.
VIII

큰 모델 없이 천장 올리기

천장이 모델이 여러 번 시도해서 찾는 것이라면, 그것을 올리는 방법은 세 가지이고, 어느 것도 거인이 필요하지 않습니다.

답을 슬쩍 알려 주기. STaR의 합리화입니다. 한 번도 풀지 못한 문제에는 최종 답을 주고, 그 답에 이르는 추론을 쓰게 합니다. p = 0인 문제에서 마침내 신호가 나옵니다. 위험은 잘못된 길로 '우연히 맞히는' 추론입니다. 그래서 답뿐 아니라 추론에도 심판이 필요합니다.

문제에 단계를 두기. 오늘은 못 푸는 문제도 더 쉬운 판을 먼저 거치면 풀 수 있게 됩니다. 모델은 그 계단을 스스로 만들 수 있습니다. Absolute Zero에서 모델은 자기가 할 수 있는 것의 경계에 딱 걸친 문제를 냅니다. 이 노트에서 다룬 '차근차근 배우기'를 혼자 공부하는 학생에게 적용한 것입니다.

도구 주기. 계산기, 파이썬 인터프리터, 내 컴퓨터의 자료를 찾는 검색 엔진. 도구가 있으면 손이 닿지 않던 문제가 가끔 풀리고, 그 '가끔'이면 고리가 돌기 시작합니다.

그래서 우리의 가설 H9입니다. 세상이 스승이 될 수 있다. 해답지, 테스트, 규칙, 도구, 그리고 하룻밤이라는 시간.

출처: Zelikman et al., STaR: Bootstrapping Reasoning With Reasoning (2022), Zhao et al., Absolute Zero: Reinforced Self-play Reasoning with Zero Data (2025)

IX

평범한 컴퓨터 1000대

자원봉사자 1000명이 밤마다 PC를 빌려준다면 어떨까요? 계산 결과는 놀랍습니다. 1000대 × 21,600번 = 하룻밤 2160만 번의 시도. 우리의 2500문제라면 문제당 하룻밤 8000번 이상입니다. 계산력은 더 이상 문제가 아닙니다. 병목은 채점할 수 있는 문제의 양이 됩니다.

무엇을 주고받아야 할까요? 두 가지 선택지가 있습니다. 하나는 어댑터(하나에 84MB)를 주고받아 합치는 것입니다. 인터넷을 통해 여럿이 함께 모델을 학습시키는 방법은 이미 알려져 있습니다. DiLoCo는 통신을 500분의 1로 줄이면서도 일반 학습과 맞먹었고, 100억 매개변수의 INTELLECT-1은 세 대륙에서 서른 곳 남짓한 연산 제공자가 학습시켰습니다. 하지만 받은 가중치는 믿는 수밖에 없고, 그 속을 다시 읽어 볼 수는 없습니다.

우리는 두 번째를 택합니다. 확인된 예시를 주고받는 것입니다. 맞는 풀이 하나는 약 2KB, 하룻밤의 예시 5000개도 10MB입니다. 무엇보다, 누구나 받은 예시에 심판을 다시 돌려 볼 수 있고, 그건 눈 깜짝할 새에 끝납니다. 가짜 예시를 보내는 사기꾼은 곧바로 드러납니다. 주고받는 것은 가중치가 아니라 증거입니다. 이는 우리의 제안이지, 발표된 결과가 아닙니다.

출처: Douillard et al., DiLoCo: Distributed Low-Communication Training (2023), Jaghouar et al., INTELLECT-1 Technical Report (2024)

X

통하지 않는 것

천장. 이미 계산했습니다. 새 문제도, 알려 주는 답도, 도구도 없으면 점수는 모델이 여러 번 시도해서 이미 찾던 곳에서 멈춥니다.

붕괴. 자기가 쓴 글로만 배우는 모델은 세대를 거듭하며 빈약해질 수 있습니다. Shumailov 등이 이를 보여 주었습니다. 바깥 심판은 문체가 아니라 정확성으로 걸러 내므로 이 위험을 줄이지만, 없애지는 못합니다. 남긴 풀이들은 점점 비슷해집니다. 원래 데이터를 섞어 두면 도움이 됩니다.

심판 속이기. 모델은 의도한 것이 아니라 보상받는 것을 배웁니다. 테스트가 허술하면 그것을 피해 가는 법을 익힙니다. 허술한 심판은 부정행위를 하는 학생을 길러 냅니다.

폭주하는 다수결. 심판이 자기 답의 다수라면, 흔한 실수가 '정답'이 되어 강화됩니다. 하룻밤이라면 하나의 위험이지만, 바깥의 기준 없이 몇 달씩 이어지면 우리가 가장 걱정하는 점입니다.

심판이 없는 과제. 편지를 쓰고, 조언을 하는 일. 어떤 시도가 가장 나은지 말해 주는 프로그램은 없습니다. 여기서는 평범한 컴퓨터가 스승을 대신하지 못합니다. 사람이든, 모델이든.

출처: Shumailov et al., AI models collapse… (Nature, 2024), Yue et al., Does RL Really Incentivize Reasoning Capacity Beyond the Base Model? (NeurIPS 2025), Zuo et al., TTRL: Test-Time Reinforcement Learning (2025)

XI

우리의 내기, 숫자로

이어지는 내용은 발표된 결과가 아니라 우리 자신의 추론입니다. 노트의 가설처럼 내기마다 확신 정도를 붙였습니다.

추측

일주일 밤이면 뚜렷한 향상이 나온다 · 65%

Llama 3.1 8B를 해답지로 걸러 낸 자신의 시도로 7일 밤 학습시키면, 게임용 카드 한 장으로 MATH-500 테스트의 첫 시도 정답률이 최소 5포인트 오릅니다. 향상이 2포인트 미만에 그치면 이 내기는 집니다.

추측

천장은 버틴다 · 70%

64번 시도했을 때의 정답률은 3포인트 미만으로만 움직입니다. 고리가 더하는 것은 확실성이지, 닿는 범위가 아닙니다. 이 내기가 틀린다면 아주 좋은 소식입니다. 혼자 공부하는 학생이 정말로 새로운 것을 발견한 셈이니까요.

추측

여럿이 하면 병목은 계산이 아니라 문제다 · 70%

확인된 예시를 주고받는 자원봉사자 네트워크는 혼자보다 빨리 나아지지만, 쓸 수 있는 문제를 금세 다 써 버립니다. 가치는 계산력에서 심판과 문제로 옮겨 갑니다.

추측

바깥의 기준이 전혀 없으면 엇나간다 · 60%

자기 답의 다수결로만 배우는 모델은 처음에는 나아지지만, 몇 달이 지나면 흔한 실수를 강화하고 다양성을 잃습니다. 맞고 틀림을 말해 줄 세상의 한 조각은 언제나 필요합니다.

XII

해야 할 실험, 그리고 우리의 예측

Llama 3.1 8B(더 어렵게 하려면 Llama 3 8B), 24GB 카드, 랭크 16 어댑터를 준비합니다. MATH 학습용 세트에서 답이 붙은 문제 2500개를 뽑습니다. 밤마다 문제당 8번 시도하고, 맞은 시도를 최대 두 개 남기고, 학습하고, 점검합니다. 이렇게 7일 밤.

전후로 측정합니다. MATH-500에서 첫 시도 정답률과 64번 시도 정답률, 그리고 잊어버렸는지 보기 위한 일반 질문 묶음(MMLU)입니다.

우리의 예측은 틀렸음을 지적받을 수 있도록 실험 전에 적어 둡니다. 첫 시도 정답률: +5~+12포인트. 64번 시도: 3포인트 미만의 향상. 일반 질문: 1포인트 미만의 하락. 비용: 전기 요금 약 5유로. 첫 시도 향상이 2포인트 미만이면 H9를 낮추겠습니다. 15포인트를 넘거나 64번 시도 점수가 껑충 뛰면, 우리의 천장의 법칙이 틀린 것이고, 기꺼이 노트를 고쳐 쓰겠습니다.

맨 위로