確立
解答:答えがわかっている問題
最終的な答えのついた数学の問題は何千もあります。審判は二つの数を比べるだけです。これがReST-EMの審判で、MATHテストで使われました。生成し、正しい試行を残し、学習し直し、くり返す。単純で堅実ですが、問題の数には限りがあります。
出典: Singh et al., Beyond Human Data: Scaling Self-Training for Problem-Solving (2023)
問題集と解答だけを手にした、ひとりきりの生徒を思い浮かべてください。だれも何も教えてくれません。生徒は解いてみて、解答と照らし合わせ、うまくいったやり方を覚え、またやり直します。数週間もすれば、以前は5回に1回しか解けなかった問題を、1回目で解けるようになります。
言語モデルもまったく同じことができます。同じ問題に何度か挑戦し、審判が正しい試行を選り分け、モデルは自分の成功例で学習します。これが自己学習です。STaRという手法が2022年にこれを示し、GoogleのReST-EMは、人間の書いた解答から学ぶよりも、選り分けた自分の試行から学ぶほうが良い結果を出しました。
大事なのは、審判が大きなモデルではないことです。審判は解答であり、テストであり、ゲームのルールです。確かめるのは、見つけるよりずっと簡単です。足し算が合っているか確かめるのは一瞬ですが、定理の証明を見つけるには何年もかかることがあります。この非対称性のおかげで、「賢くない」先生が、自分より賢い生徒を教えられるのです。
出典: Zelikman et al., STaR: Bootstrapping Reasoning With Reasoning (2022), Singh et al., Beyond Human Data: Scaling Self-Training for Problem-Solving (2023)
モデルには点数が二つあります。一つは1回目での正答率。もう一つは何度も挑戦したときの正答率、つまり、少なくとも1回は正解する確率です。研究者はこれをpass@1、pass@kと書きます。二つの差はとても大きいことがあります。Brownらの研究では、挑戦の回数を2倍にするたびに、解ける問題の割合が着実に増えていきました。
この差は隠れた実力です。モデルは答えを見つける方法を「知って」いますが、確実ではありません。自己学習は、隠れた実力を確かな実力に変えます。新しいものはほとんど生み出さず、運まかせだったことを確実にするのです。
それは限界でもあり、あとで詳しく見ます。Yueらは、強化学習でpass@1は上がるものの、挑戦の回数を多くすると、出発点のモデルも同じくらい、あるいはそれ以上の問題を解けることを観察しました。たとえで覚えてください。学習はコップを満たすが、コップを大きくはしない。Llama 3 8Bのような古いモデルには朗報です。最近のモデルより確実さに欠けるぶん、コップが空いていることが多く、満たす余地が大きいのです。
出典: Brown et al., Large Language Monkeys (2024), Yue et al., Does RL Really Incentivize Reasoning Capacity Beyond the Base Model? (NeurIPS 2025)
すべては審判しだいです。ふつうのコンピュータが自分だけで動かせる審判を、もっとも確かなものから、もっとも頼りないものまで順に挙げます。
確立
最終的な答えのついた数学の問題は何千もあります。審判は二つの数を比べるだけです。これがReST-EMの審判で、MATHテストで使われました。生成し、正しい試行を残し、学習し直し、くり返す。単純で堅実ですが、問題の数には限りがあります。
出典: Singh et al., Beyond Human Data: Scaling Self-Training for Problem-Solving (2023)
有望
コードなら、審判はコンピュータそのものです。プログラムを動かし、テストに通るかを見ます。Absolute Zeroはさらに先へ進みます。モデルが自分でプログラミングの問題をつくり、Pythonのインタプリタがそれを確かめ、外部のデータをまったく使わずに学ぶのです。著者らは、人間が選んだ数万の例で学習したモデルを上回ったと報告しています。
出典: Zhao et al., Absolute Zero: Reinforced Self-play Reasoning with Zero Data (2025)
有望
Countdownというゲームでは、いくつかの数と四則演算を使って目標の数をつくります。答えを確かめるのは計算1行で済みます。バークレーのTinyZeroは、強化学習で30億パラメータのモデルにこのゲームを教えました。するとモデルは、まちがえたときに計算を確かめ直し、別のやり方を探す習慣を自分で身につけました。計算費用は合わせて30ドル未満です。
推測
あなたのコンピュータでは、あなた自身が無料の審判です。提案されたコードが動かなかった? 答えを手で直した? そうした修正の一つ一つが、ラベルつきの例になります。これは私たち自身のアイデアで、ここでは試していません。昼間の修正から夜に学ぶ、手元のモデルです。リスクは、人間の審判は疲れるし、まちがえることです。
有望
解答がなくても、64回答えて、いちばん多かった答えを「正解」とみなすことができます。TTRLはまさにそれを答えの知られていない問題で行い、70億パラメータのモデルで、AIME 2024という競技の成績が約211%向上したと報告しています。ただし、もともと頼りない方法です。多数派がまちがっていれば、モデルはそのまちがいを学んでしまいます。
出典: Zuo et al., TTRL: Test-Time Reinforcement Learning (2025)
何が期待できるかを教えてくれる結果が二つあります。一つは古くて堅実なもの、もう一つは新しくて目を見張るものです。
確立
モデルが推論を書き、正しい答えにたどり着いたものだけを残します。失敗したときは答えを教えて、そこにたどり着く推論を書き直させます。これを「合理化」と呼びます。CommonsenseQAでは、ふつうの方法で学習した30倍大きなモデルに匹敵する結果が出ました。
出典: Zelikman et al., STaR: Bootstrapping Reasoning With Reasoning (2022)
有望
たった一つの問題と、答えを確かめる強化学習だけで、15億パラメータのモデルがMATH500テストで36.0%から73.6%に上がりました。ただし注意が必要です。伸びの大部分は、モデルが答えを正しい形式で示すことを覚えたためで、著者らはその効果を除いた伸びを8.6ポイントと測っています。実力はもともと隠れていた、という証拠です。
出典: Wang et al., Reinforcement Learning for Reasoning with One Training Example (2025)
Llama 3.1 8B、つまり80.3億パラメータで計算してみましょう。16ビットで保存すると16GBになり、たいていのグラフィックカードには入りきりません。二つの工夫で、すべてが変わります。
一つ目の工夫:重みを4ビットに丸める。QLoRAと同じやり方です。80.3億 × 0.5バイト = 4.0GB。QLoRAは、この方法で650億パラメータのモデルを48GBのカード1枚で、品質を落とさずに微調整できることを示しました。
二つ目の工夫:重みには手をつけず、アダプタを足す(LoRA)。80億の重みは凍結し、横に継ぎ足した小さな行列だけを学習します。Llama 3 8Bのすべての層にランク16で入れると、4190万パラメータ、モデルの0.5%で、84MBになります。学習では、その一つ一つについて4バイトの数を四つ持ちます(パラメータ、その修正量、最適化手法の平均値二つ)。4190万 × 16バイト = 0.67GBです。
作業用のメモリも足しましょう。文章を書くとき、モデルはすでに書いた1語ごとに128KBを覚えておきます。1000語の試行を16本同時に進めると2.1GBです。学習そのものにさらに数GBを見込みます。合計は9〜10GB。12GBのゲーム用カードに収まり、16GBや24GBなら余裕があります。
思わぬおまけもあります。アダプタは忘れにくいのです。Bidermanらは、LoRAはコードと数学ではすべてを学習し直す方法より学ぶ量が少ないものの、モデルがほかの分野ですでにできていたことをよく保つことを示しました。何週間も独りで学習するモデルにとっては、速く学ぶことより、あまり忘れないことのほうが大切です。
出典: Dettmers et al., QLoRA: Efficient Finetuning of Quantized LLMs (2023), Biderman et al., LoRA Learns Less and Forgets Less (2024), Meta, Llama 3.1 8B Instruct model card (2024)
8時間の夜を三つに分けます。試行に6時間、学習に1時間、点検に1時間です。
試行(6時間)。高性能なゲーム用カードは、毎秒およそ1000GBの速さでメモリを読みます。もっと手ごろなカードは2〜3倍遅く、そのぶん一晩の試行回数も2〜3分の1になります。1語を書くたびに、モデルは4GBの重みを読み直します。1本だけなら毎秒250語ほどが上限です。16本の試行を並べて進めれば、同じ読み込みで16語が書けます。ここでは毎秒1000語という控えめな仮定を置きます。6時間で6 × 3600 × 1000 = 2160万語、1000語の試行なら約2万1600回です。2500問をそれぞれ8回(2万回)解いても、まだ余裕があります。
学習(1時間)。正しい試行は1問につき最大二つまで残すので、例は最大5000個、1個およそ500語で250万語です。学習には、多めに見積もって、1パラメータ・1語あたり6回の演算が必要です。6 × 80億 × 250万 = 1.2 × 10¹⁷回の演算。実効で毎秒40兆回(仮定です。これらのカードの最大性能よりかなり低い値)の速さなら、50分かかります。
点検(1時間)。モデルに、まだ見たことのない小さな試験と、一般的な質問のセットを解かせ、何も忘れずに伸びたかを確かめます。一般的な質問の点数が下がったら、その夜のアダプタは捨てます。これが方法全体のシートベルトです。
電気代。ゲーム用PCは全力で動くと約450Wを使います(私たちの仮定)。450W × 8時間 = 3.6kWh。2026年10月のフランスの規制料金、1kWhあたり約0.20ユーロで計算すると、一晩0.72ユーロ、1週間で約5ユーロです。
おもちゃのモデルをつくってみましょう。問題の難しさは、私たちのモデルにとって一様ではありません。4分の1は一度も解けず、15%は10回に1回、25%は10回に6回、35%は10回に9回解けるとします。1回目の正答率は 0.15 × 10% + 0.25 × 60% + 0.35 × 90% = 48% です。
毎晩、各問題に8回挑戦します。10回に1回解ける問題で、少なくとも1回正解する確率は 1 − 0.9⁸ = 57%。およそ二晩に一度、学ぶための例を一つ与えてくれます。一度も解けない問題は、いつまでたっても何も与えてくれません。
学んだ例一つごとに、その問題が残りの道のりの30%だけ正解に近づくとしましょう。点数は二晩で48%から60%へ、1週間で73%へ上がり、そのあとは伸びが鈍ります。学習が3倍遅い場合(10%)は、1週間で61%にしか届きません。けれども、どちらの場合も曲線は同じ線に近づきます。75%、つまり出発点のモデルが64回のうち少なくとも1回は解けた問題の割合です。
これが天井の法則です。一文で言えば、自己学習は1回目の点数を、何度も挑戦したときの点数に近づけるが、それを超えさせはしない。Yueらの観察を、私たちなりに数字へ置きかえたものです。ただ、このおもちゃのモデルには楽観的な点が一つあります。Llama 3.1 8Bは、事前学習のあとですでにこの種の問題で調整されているので、伸びしろの一部はもう使われているのです。
出典: Yue et al., Does RL Really Incentivize Reasoning Capacity Beyond the Base Model? (NeurIPS 2025)
図N — 夜ごとに点数は上がり、天井に近づく
速い学習:7夜で73%遅い学習:7夜で61%
説明用の図です。考え方を示すもので、測定値ではありません。
天井が、モデルが何度も挑戦して見つけられるものだとすれば、それを上げる方法は三つあります。どれも巨人を必要としません。
答えをそっと教える。STaRの合理化です。一度も解けない問題では、最終的な答えを与え、そこにたどり着く推論を書かせます。p = 0 の問題から、ようやく手がかりが得られます。リスクは、まちがった道筋で「たまたま正解する」推論です。ですから、答えだけでなく推論にも審判が必要です。
問題に段階をつける。今日は解けない問題も、まずやさしい版を通れば解けるようになります。モデルはその階段を自分でつくれます。Absolute Zeroでは、モデルが自分にできることのちょうど境目にある問題を出します。このノートで考えてきた「順序立てた学び」を、独りで学ぶ生徒に当てはめたものです。
道具を与える。電卓、Pythonのインタプリタ、手元の資料を探す検索エンジン。道具があれば、手の届かなかった問題がときどき解けるようになります。その「ときどき」があれば、ループは動き出します。
そこで私たちの仮説H9です。世界そのものが先生になれる。解答、テスト、ルール、道具、そして一晩という時間。
出典: Zelikman et al., STaR: Bootstrapping Reasoning With Reasoning (2022), Zhao et al., Absolute Zero: Reinforced Self-play Reasoning with Zero Data (2025)
1000人のボランティアが、夜のあいだPCを貸してくれたらどうでしょう。計算すると驚きます。1000台 × 2万1600回 = 一晩2160万回の試行。私たちの2500問なら、1問あたり一晩8000回以上です。計算力はもう問題ではありません。ボトルネックは、答え合わせのできる問題の数になります。
何を交換すべきでしょう。選択肢は二つです。一つはアダプタ(1つ84MB)を交換し、合体させること。インターネット越しに大勢でモデルを学習させる方法は、すでにわかっています。DiLoCoは通信を500分の1に減らしながら通常の学習に並び、100億パラメータのINTELLECT-1は、三つの大陸で約30の計算提供者によって学習されました。けれども、受け取った重みは信じるしかなく、中身を読み返すことはできません。
私たちは二つ目を選びます。確かめ済みの例を交換するのです。正しい解答一つは約2KB、一晩の5000個でも10MBです。何より、だれでも受け取った例に審判をかけ直せ、それは一瞬で終わります。偽の例を送ってずるをする者は、すぐに見破られます。交換するのは重みではなく、証拠です。これは私たちの提案で、発表された成果ではありません。
出典: Douillard et al., DiLoCo: Distributed Low-Communication Training (2023), Jaghouar et al., INTELLECT-1 Technical Report (2024)
天井。すでに計算しました。新しい問題も、教えてもらう答えも、道具もなければ、点数はモデルが何度も挑戦してすでに見つけられたところで止まります。
崩壊。自分の書いた文章だけから学ぶモデルは、世代を重ねるごとに貧しくなりうる。Shumailovらがそれを示しました。外の審判は、文体ではなく正しさでふるいにかけるので、このリスクを抑えますが、なくしはしません。残った解答は、だんだん似通っていきます。元のデータを混ぜておくことが助けになります。
審判をごまかす。モデルは、意図されたことではなく、報酬が与えられることを学びます。テストが甘ければ、それをすり抜けることを覚えます。甘い審判は、ずるをする生徒を育てます。
暴走する多数決。審判が自分の答えの多数派だと、よくあるまちがいが「正解」になり、強められてしまいます。一晩なら一つのリスクですが、外のよりどころのないまま何か月も続けば、私たちがいちばん心配する点です。
審判のいない課題。手紙を書く、助言をする。どの試行がいちばん良いかを決めるプログラムはありません。ここでは、ふつうのコンピュータは先生の代わりになりません。人間でも、モデルでも。
出典: Shumailov et al., AI models collapse… (Nature, 2024), Yue et al., Does RL Really Incentivize Reasoning Capacity Beyond the Base Model? (NeurIPS 2025), Zuo et al., TTRL: Test-Time Reinforcement Learning (2025)
ここからは私たち自身の推論で、発表された成果ではありません。ノートの仮説と同じように、それぞれの賭けに確からしさをつけています。
推測
Llama 3.1 8Bを、解答でふるい分けた自分の試行で7晩学習させると、ゲーム用カード1枚で、MATH-500テストの1回目の正答率が少なくとも5ポイント上がる。伸びが2ポイント未満なら、この賭けは負けです。
推測
64回挑戦したときの正答率は、3ポイント未満しか動かない。ループが加えるのは確実さであって、届く範囲ではない。この賭けが外れたら、それはすばらしい知らせです。独りの生徒が本当に新しいものを見つけたことになるからです。
推測
確かめ済みの例を交換するボランティアのネットワークは、一人でやるより速く伸びますが、使える問題をすぐに使い切ってしまう。価値は計算力から、審判と問題へ移ります。
推測
自分の答えの多数決だけから学ぶモデルは、はじめは伸びますが、何か月もたつうちに、よくあるまちがいを強め、多様さを失う。正解か不正解かを告げる世界のかけらが、いつも必要です。
Llama 3.1 8B(難しくするならLlama 3 8B)、24GBのカード、ランク16のアダプタを用意します。MATHの学習用セットから、答えつきの問題を2500問選びます。毎晩、1問につき8回挑戦し、正しい試行を最大二つ残し、学習し、点検する。これを7晩続けます。
前と後で測ります。MATH-500での1回目の正答率と64回での正答率、そして忘れていないかを見るための一般的な質問のセット(MMLU)です。
私たちの予測は、まちがいを指摘してもらえるよう、実験の前に書いておきます。1回目の正答率は+5〜+12ポイント。64回での正答率は3ポイント未満の改善。一般的な質問では、下がっても1ポイント未満。費用は電気代で約5ユーロ。1回目の伸びが2ポイント未満ならH9を下げます。15ポイントを超えるか、64回での点数が跳ね上がれば、私たちの天井の法則はまちがいで、喜んでノートを書き直します。