← ノートに戻る
深掘り · 仮説
仮説を試す
これまで、それぞれの仮説には一つの数値しかなく、まとめて決めていました。数値が一つだけだと、疑いがどこに潜んでいるかが見えません。ここでは各仮説を、すべて成り立たなければならない輪に分け、輪ごとに数値をつけて掛け合わせ、その後に出た研究と照らし合わせます。四つの仮説ははっきり下がり、三つは上がり、二つは言い直しました。その推論を、数字ごとに示します。
推測 更新日
このノートには九つの仮説があります。それぞれが明日のAIについて私たちが信じていることを、確からしさとともに述べています。75%、40%、55%……。これらの数値は正直なものでしたが、大づかみでした。仮説を丸ごと見て「ありそうか」と問うていたのです。
問題は、仮説が一つの主張であることはめったにない、という点です。仮説は鎖です。Aが正しく、そしてBがそこから導かれ、そしてCが実際に成り立たなければなりません。気象予報士は「明日の降水確率70%」を勘で言うわけではありません。前線が来る確率、十分に湿っている確率、それない確率を組み合わせます。ここでは九つそれぞれについて、同じことをします。
手順1。仮説が正しいために必要な主張を、それだけを書き出します。これが輪a、b、cです。
手順2。各輪に、前の輪が正しいと仮定して数値をつけます。これを条件つき確率と呼びます。「aが正しいなら、bの確率は?」ということです。この点は大切です。同じ鎖の輪は互いに支え合うことが多く、ばらばらに数値をつけると、合計を不当に下げてしまいます。
手順3。掛け合わせます。aが90%、aを前提にしたbが50%なら、鎖は 0.9 × 0.5 = 45% です。積はいつも、いちばん小さい因数より小さくなります。鎖は、いちばん弱い輪より強くはなれません。
罠が二つ、逆向きに待ち構えています。一つ目。豊かで筋の通った話は、単純な話よりありそうに見えますが、より多くのことを必要とする以上、必ず確率は低くなります。大づかみの数値での私たちの欠点はこれでした。二つ目。輪を細かく分けすぎ、それぞれを慎重に見積もると、合計が不自然に溶けてしまいます。そこで、仮説ごとに二つか三つの輪、それも本当に必要なものだけに絞ります。
最後に、つじつまのルールがもう一つあります。ある仮説が別の仮説を含意するなら、前者が後者より確からしいことはありえません。特殊な場合が、それを導く一般的なルールより確かであることはないのです。このルールのおかげで、最初のまちがいが見つかりました。
H1の主張:データの構造(出どころ、レベル、依存関係)をモデルに与えれば、必要な例の量が減る。
輪a、85%:構造の手がかりは、少なくとも数十億パラメータまでは、本当にデータを節約する。輪b、65%:その利得は大きなサイズでも消えない。学ぶ順序による利得はサイズとともに小さくなっていたので、私たちは慎重でした。けれども下の結果は、6億から80億パラメータまで同じように現れます。
計算:0.85 × 0.65 = 55%。H1は少し上がります。残る問いは、役立っているのは階層なのか、単なる出どころのラベルなのか、です。研究が使っているのは、サイトのアドレスという平らなラベルです。私たちのH1は出どころを含むので、これも数に入ります。けれども、レベルと依存関係を使う最も野心的な形は、まだ試されていません。
H1 · データ需要の一部は、階層がないことから生じている (55 %)
IXH6 · 利得は掛け算になる:35%から42%へ
H6の主張:専門家、カスケード、低精度、より良いハードウェアを積み重ねれば、新しい巨大モデルなしに、1回の回答のコストが100分の1になる。
輪a、95%:どのてこも、単独でコストを2〜4分の1にする。輪b、55%:てこは十分に独立していて、その積が3倍の誤差の範囲で成り立つ。これが弱い輪です。アムダールの法則は、一部を速くしても、その部分にしか効かないと教えます。輪c、80%:実際に100分の1に届く。
計算:0.95 × 0.55 × 0.8 = 42%。まとめのページよりbを上げたのはなぜか。現実の世界が、私たちのかわりに実験をしてくれたからです。同じ性能なら、価格はどのてこ一つで説明できるよりずっと速く下がりました。てこが積み重なることの間接的な証拠です。ただし、この値下がりは、よりよく学習した新しいモデルからも来ていて、それはH6が除外しているものです。だから輪bは55%、それ以上ではありません。
H6 · 節約は掛け算で効く (42 %)
XIH8 · よく支えられた小さなモデル:55%から46%へ
H8の主張:確かめられる課題では、よく支えられた80億パラメータのモデルが、百倍大きなモデルに並ぶ。しかも同じかそれより低いコストで。
輪a、90%:同じ点数に届く。数学では確かめられています。512回の試行をふるい分けた10億パラメータのモデルが、4050億パラメータのモデルを上回ります。輪b、60%:すべての試行と審判を数えた総コストで、自分のごく一部しか動かさない専門家混合の巨人と比べても見劣りしない。輪c、85%:数学とコードを超えて、ほかの確かめられる課題でも成り立つ。
計算:0.9 × 0.6 × 0.85 = 46%。疑いの中心は輪bで、以前の55%はそこをごまかしていました。それでも、小さなモデルを後押しする新しいデータがあります。手元で動かせるものは、すぐに巨人に追いつくのです。
出典: Liu et al., Can 1B LLM Surpass 405B LLM? (2025)
H8 · 道具のそろった小さなモデルは巨人に並ぶ……確かめられる場面では (46 %)
H9の主張:ふつうのコンピュータの上で、外の審判は小さなモデルをはっきり伸ばす。何度も挑戦して見つけていたところという天井まで。
輪a、75%:選んだ一つの系統だけでなく、どの最近の小さなモデルでも、伸びがはっきりしている(少なくとも5ポイント)。輪b、90%:ゲーム用カード1枚で1週間に収まる。前のページの計算です。輪c、80%:天井の説明は正しい。見えないリードはそれを裏づけ、ProRLは異を唱えますが、1週間よりずっと長い学習のあとの話です。
計算:0.75 × 0.9 × 0.8 = 54%。ほとんど変わりませんが、疑いの場所が変わりました。下の研究のせいで、今は輪aにあります。予定している実験はLlamaを使います。まさに簡単な効果が消える系統です。かえって好都合で、そのぶん説得力のある実験になります。
H9 · 世界そのものが先生になれる (54 %)
下がったもの:H2(75 → 64)、H4(70 → 44)、H8(55 → 46)、H7(50 → 43、言い直し)、そしてH9が1ポイント。ほとんどいつも同じ理由です。いちばん目立つ輪に数値をつけ、残りを当然のものとしていたのです。
上がったもの:新しい研究のおかげでH1(50 → 55)、測られた価格の下落のおかげでH6(35 → 42)、範囲を絞ってH3(40 → 48)。H5はほとんど動きません。
ノートの大きな主張は三つの仮説に支えられています。外部のメモリ(H2)、グラフとしての整理(H5)、そして審判とともに伸びる小さなモデル(H9)です。独立なら 0.64 × 0.64 × 0.54 = 22%。完全に独立ではない(同じ技術的現実が三つを支えている)ので、本当の値はもっと高く、ただしいちばん弱い54%は超えません。私たちは約30%と見ます。計画全体が成り立つ見込みは五分五分を下回ります。だからこそ、輪ごとに決着をつける必要があるのです。
図O — 疑いはどこに潜むか
現在の確からしさ(輪の積)以前の確からしさ輪 a、b、c
説明用の図です。考え方を示すもので、測定値ではありません。
各行が一つの仮説です。円はその輪で、それぞれ前の輪が正しいと仮定して数値をつけています。棒はそれらの積、つまり新しい確からしさで、赤い線は以前の値です。仮説はいちばん弱い輪と同じくらい、いや少しそれ以上にもろいものです。棒はいつも、いちばん左の円より左で終わります。
どの実験が、私たちの数値をいちばん動かすでしょうか。それぞれについて、起こりうる結果と、その確率と、そこから導かれる確からしさを書きます。つじつまのルールが一つあります。実験後の確からしさの平均は、実験前の確からしさと等しくなければなりません。そうでなければ、結果がどちらに転ぶかもうわかっていることになり、すぐに数値を変えるべきだからです。三つすべてでこのルールを確かめました。
そのうえで期待される動きを測ります。確からしさの変化を確率で重みづけした合計です。大きいほど、その実験から多くを学べます。
推測
E1 · 二つの系統、本物の審判とでたらめな審判 · 約20ユーロ
前のページの実験を、LlamaとQwenで、本物の報酬とでたらめな報酬の両方で行います。ゲーム用カードで4週間です。結果は三通り。Llamaが本物の審判のときだけはっきり伸び、天井は変わらない(55%)→ H9 66%、H7 37%。伸びるのはQwenだけ(25%)→ H9 25%、H7 38%。Llamaが伸び、64回での正答率も跳ね上がる(20%)→ H9 60%、H7 65%。平均はH9 54.6%、H7 42.9%で、つじつまが合います。期待される動き:24ポイント。
推測
E2 · 階層つきラベルと平らなラベル · 約1万6000GPU時間
10億と80億パラメータのモデルを、ラベルなし、出どころのアドレスつき、レベルと依存関係つきで学習させます。結果は三通り。階層が平らなラベルに勝ち、80億でも保たれる(50%)→ H1 75%。役立つのは平らなラベルだけで、その利得は溶ける(30%)→ H1 40%。80億では何も残らない(20%)→ H1 25%。平均は54.5%で、つじつまが合います。期待される動き:約20ポイント。コスト:1パラメータ・1語あたり6回の演算、パラメータあたり20語、それを3通り、チップ1枚あたり毎秒400兆回の有効な演算(仮定)として、データセンターのGPUで約1万6000時間。研究所の仕事です。
推測
E3 · 5世代、すべて残す・まれなものだけ・何も残さない · 約50GPU時間
小さなモデル(1億2500万パラメータ)が、それぞれ前のモデルから5回続けて学びます。本物のデータをすべて残すか、もっともまれな5%だけを残すか、何も残さないか。結果は三通り。まれな5%がすべてと同じくらい効く(40%)→ H4 75%。半分ほど役立つ(45%)→ H4 25%。すべて残しても足りない(15%)→ H4 20%。平均は44.3%で、つじつまが合います。期待される動き:約25ポイント。借りたGPUで50時間ほど(文章の生成を含めた私たちの見積もり)です。
実験の順序は計算から決まります。E1とE3は、E2の数百分の1から数千分の1の費用で、少なくとも同じくらい多くを教えてくれます。E1はふつうのコンピュータで、E3は数時間の借りた計算で済みます。まずこの二つを行うことを勧めます。
見直しのルール。あとでずるをしないためのものです。仮説の数値は、輪が変わったときにだけ変え、どの輪かを明記します。輪の一つが20%を下回った仮説は、習慣で残さず、言い直すか取り下げます。そして新しい仮説はすべて、はじめから輪に分けた形で加えます。
このページで得たのは、数値が一つ増えたことではありません。それぞれの仮説について、どの文を正確に証明するか、あるいは反証すればよいかがわかったことです。倒し方がわかっている仮説こそ、役に立つ仮説です。
出典
- Yue et al., Does RL Really Incentivize Reasoning Capacity Beyond the Base Model? (NeurIPS 2025)
- Gao et al., Metadata Conditioning Accelerates Language Model Pre-training (2025)
- DeepSeek, Engram: Conditional Memory via Scalable Lookup (2026)
- Berges et al., Memory Layers at Scale (Meta, 2024)
- Gutiérrez et al., From RAG to Memory: Non-Parametric Continual Learning for LLMs (ICML 2025)
- Google DeepMind, AlphaEvolve (2025)
- Sorscher et al., Beyond neural scaling laws (NeurIPS 2022)
- Shumailov et al., AI models collapse… (Nature, 2024)
- Gerstgrasser et al., Is Model Collapse Inevitable? (2024)
- Dohmatob et al., Strong Model Collapse (ICLR 2025)
- Edge et al., GraphRAG (Microsoft, 2024)
- Sarthi et al., RAPTOR (ICLR 2024)
- Epoch AI, LLM inference prices have fallen rapidly but unequally across tasks (2025)
- The Price of Progress: Algorithmic Efficiency and the Falling Cost of AI Inference (2025)
- Liu et al., ProRL: Prolonged Reinforcement Learning Expands Reasoning Boundaries (NeurIPS 2025)
- Wu et al., The Invisible Leash? Why RLVR May or May Not Escape Its Origin (2025)
- Liu et al., Can 1B LLM Surpass 405B LLM? (2025)
- Epoch AI, Frontier AI performance becomes accessible on consumer hardware within a year (2025)
- Shao et al., Spurious Rewards: Rethinking Training Signals in RLVR (ICML 2026)
すべての出典 (127) →
chi poco pensa molto erra ページの先頭へ