明日のAI 用語集
JA

← ノートに戻る

深掘り · 仮説

仮説を試す

これまで、それぞれの仮説には一つの数値しかなく、まとめて決めていました。数値が一つだけだと、疑いがどこに潜んでいるかが見えません。ここでは各仮説を、すべて成り立たなければならない輪に分け、輪ごとに数値をつけて掛け合わせ、その後に出た研究と照らし合わせます。四つの仮説ははっきり下がり、三つは上がり、二つは言い直しました。その推論を、数字ごとに示します。

推測 更新日

I

なぜ仮説を開き直すのか

このノートには九つの仮説があります。それぞれが明日のAIについて私たちが信じていることを、確からしさとともに述べています。75%、40%、55%……。これらの数値は正直なものでしたが、大づかみでした。仮説を丸ごと見て「ありそうか」と問うていたのです。

問題は、仮説が一つの主張であることはめったにない、という点です。仮説は鎖です。Aが正しく、そしてBがそこから導かれ、そしてCが実際に成り立たなければなりません。気象予報士は「明日の降水確率70%」を勘で言うわけではありません。前線が来る確率、十分に湿っている確率、それない確率を組み合わせます。ここでは九つそれぞれについて、同じことをします。

II

方法:輪に分ける

手順1。仮説が正しいために必要な主張を、それだけを書き出します。これが輪a、b、cです。

手順2。各輪に、前の輪が正しいと仮定して数値をつけます。これを条件つき確率と呼びます。「aが正しいなら、bの確率は?」ということです。この点は大切です。同じ鎖の輪は互いに支え合うことが多く、ばらばらに数値をつけると、合計を不当に下げてしまいます。

手順3。掛け合わせます。aが90%、aを前提にしたbが50%なら、鎖は 0.9 × 0.5 = 45% です。積はいつも、いちばん小さい因数より小さくなります。鎖は、いちばん弱い輪より強くはなれません。

罠が二つ、逆向きに待ち構えています。一つ目。豊かで筋の通った話は、単純な話よりありそうに見えますが、より多くのことを必要とする以上、必ず確率は低くなります。大づかみの数値での私たちの欠点はこれでした。二つ目。輪を細かく分けすぎ、それぞれを慎重に見積もると、合計が不自然に溶けてしまいます。そこで、仮説ごとに二つか三つの輪、それも本当に必要なものだけに絞ります。

最後に、つじつまのルールがもう一つあります。ある仮説が別の仮説を含意するなら、前者が後者より確からしいことはありえません。特殊な場合が、それを導く一般的なルールより確かであることはないのです。このルールのおかげで、最初のまちがいが見つかりました。

III

最初の発見:二つの仮説が矛盾していた

H7は「審判は教えられる」と述べていました。モデルは挑戦し、採点されることで伸びる、と。私たちは50%をつけていました。三日前に加えたH9は、外の審判のおかげで、小さなモデルがふつうのコンピュータの上で伸びると述べ、55%をつけていました。

けれどもH9はH7の特殊な場合です。審判がPCの上で小さなモデルを伸ばすなら、審判は教えられることになります。特殊な場合が一般的な場合より確からしいはずはありません。二つの数値のどちらかがまちがっていたのです。

掘り下げると、矛盾は一つの言葉から来ていました。「教える」が、まったく違う二つのことを混ぜていたのです。研ぐ:モデルがときどき見つけていたものを、確実にすること。これは確かめられています。Yueらが測り、どの研究も裏づけています。広げる:モデルが一度も見つけなかったものを見つけさせること。議論されているのは、こちらです。

そこでH7を直します。研ぐことは仮説ではなく、事実になります。H7はこれから、広げることについての仮説、本当の未解決の問いです。H9は研ぐことに焦点を当てたままで、二つの数値はもう衝突しません。

出典: Yue et al., Does RL Really Incentivize Reasoning Capacity Beyond the Base Model? (NeurIPS 2025)

IV

H1 · 欠けている階層:50%から55%へ

H1の主張:データの構造(出どころ、レベル、依存関係)をモデルに与えれば、必要な例の量が減る。

輪a、85%:構造の手がかりは、少なくとも数十億パラメータまでは、本当にデータを節約する。輪b、65%:その利得は大きなサイズでも消えない。学ぶ順序による利得はサイズとともに小さくなっていたので、私たちは慎重でした。けれども下の結果は、6億から80億パラメータまで同じように現れます。

計算:0.85 × 0.65 = 55%。H1は少し上がります。残る問いは、役立っているのは階層なのか、単なる出どころのラベルなのか、です。研究が使っているのは、サイトのアドレスという平らなラベルです。私たちのH1は出どころを含むので、これも数に入ります。けれども、レベルと依存関係を使う最も野心的な形は、まだ試されていません。

確立

新情報:サイトのアドレスを手がかりに(2025年)

プリンストンのGaoらは、学習中にそれぞれの文章の前へ出どころのアドレス(たとえば en.wikipedia.org)を付けるだけで、最後にはそれを外します。16億パラメータのモデルが、ふつうの学習と同じ性能に33%少ないデータで届き、追加の計算はいりません。これは6億から80億パラメータまで当てはまります。モデルがつくった話題も、ラベルとして使えます。

出典: Gao et al., Metadata Conditioning Accelerates Language Model Pre-training (2025)

V

H2 · 上を学び、下を調べる:75%から64%へ

H2の主張:パラメータは原理のためにとっておき、事実は外部のメモリにしまう。

輪a、92%:知識を問う質問で損をせずに、事実をモデルの外へ出せる。RETRO、メモリ層、Engram、そして今回のHippoRAG 2がそれを示しています。輪b、82%:空いた場所は、同じ予算で本当に推論の向上に使われる。Engramは3ポイント上げましたが、一部は知識の質問によるもので、手がかりであって証明ではありません。輪c、85%:調べるコスト(時間、メモリの通信)は、実際の使い方で許容できる範囲に収まる。

計算:0.92 × 0.82 × 0.85 = 64%。これが方法についていちばん大きな教訓です。どの輪も堅いのに、堅い輪が三つ集まると、ほどほどの鎖になります。以前の75%は、いちばん説得力のある輪aを見て、残りの二つを忘れていました。

出典: DeepSeek, Engram: Conditional Memory via Scalable Lookup (2026), Berges et al., Memory Layers at Scale (Meta, 2024)

確立

新情報:途中で何も失わないメモリ(2025年)

HippoRAG 2は、文章の断片をグラフにしまい、友人のあいだで噂が広がるようにその中を巡ります。単純な事実、全体の理解、離れた事実どうしのつながり(約7ポイント向上)のすべてで、ふつうの検索を上回りました。以前のグラフ型の方法は、単純な事実で負けていたところです。

出典: Gutiérrez et al., From RAG to Memory: Non-Parametric Continual Learning for LLMs (ICML 2025)

VI

H3 · ルールと例外:範囲を絞って40%から48%へ

H3の以前の主張:どこでも、ルールと、そこから外れるデータだけを残せば、知識を圧縮できる。

分解すると、一般的な形は崩れます。輪a、80%:プログラムで確かめられる分野では、例からルールを引き出せる(AlphaEvolve、FunSearch)。輪b、60%:ルール+例外を残すと、学習データが本当に節約できる。データをうまく選ぶと学習曲線の形が変わるので、心強い材料です。輪c、45%:これが、例外とニュアンスに満ちたふだんの言葉にまで広がる。積は 0.8 × 0.6 × 0.45 = 22% です。

広すぎる仮説を抱えるかわりに、信じる理由が本物である、確かめられる分野に範囲を絞ります。0.8 × 0.6 = 48%。輪cは消えるわけではなく、あとで考える問いになります。範囲を絞るのは、そう明言する限りずるではありません。狭い仮説は主張が少ないぶん、正しい見込みが高いのです。

出典: Google DeepMind, AlphaEvolve (2025), Sorscher et al., Beyond neural scaling laws (NeurIPS 2022)

VII

H4 · 例外は錨になる:70%から44%へ

H4の主張:モデルの各世代が前の世代から学ぶとき、まれな生データを残しておけば、ずれを防げる。

輪a、90%:ずれはまずまれな事例を襲う。Shumailov以来、確かめられています。輪b、75%:本物のデータを残せば、ずれは防げる。Gerstgrasserは、置き換えずに積み重ねれば防げることを示しました。けれども2025年の研究は、ごく一部の人工データでも進歩を止めうることを示しています。輪c、65%:すべてではなく、まれな事例だけを残せば十分。これは私たちの節約版で、だれも試していません。

計算:0.9 × 0.75 × 0.65 = 44%。ノートでいちばん大きな下げです。以前の70%は、とても堅い輪aに頼り、残りの二つを当然のこととしていました。逆から確かめてみましょう。例外だけを残しても足りないほうが、ありそうでしょうか。だれも試していない今は、わずかにそうです。44%が言っているのはまさにそれです。

出典: Shumailov et al., AI models collapse… (Nature, 2024), Gerstgrasser et al., Is Model Collapse Inevitable? (2024)

確立

新情報:強い崩壊(2025年)

Dohmatobらは、単純化した数学の枠組みで、続いて言語モデルで、学習データに人工データがわずか1%混じるだけで、モデルがデータを増やしても得をしなくなりうることを示しました。学習曲線が下がらなくなるのです。しかも大きなモデルほど、その効果を強めることがあります。混ぜるだけでは足りないことがある、何を残すかを知る必要がある、ということです。

出典: Dohmatob et al., Strong Model Collapse (ICLR 2025)

VIII

H5 · 木ではなくグラフ:65%から64%へ

H5の主張:知識は網であり、一つの考えはいくつもの系統に属する。役に立つメモリは、交差する何本もの木でできているはずだ。

輪a、85%:一つの断片が複数のグループに属する構造は、いくつもの事実をつなぐ質問で、単純な木を上回る。GraphRAG、RAPTOR、HippoRAG 2がその方向を示しています。輪b、75%:構築と維持のコストは、大規模でも妥当な範囲に収まる。

計算:0.85 × 0.75 = 64%。ほとんど変わりません。以前の大づかみの数値は、すでによく合っていました。触れるものすべてを下げるわけではない、というのは方法にとって良いしるしです。

出典: Edge et al., GraphRAG (Microsoft, 2024), Sarthi et al., RAPTOR (ICLR 2024)

IX

H6 · 利得は掛け算になる:35%から42%へ

H6の主張:専門家、カスケード、低精度、より良いハードウェアを積み重ねれば、新しい巨大モデルなしに、1回の回答のコストが100分の1になる。

輪a、95%:どのてこも、単独でコストを2〜4分の1にする。輪b、55%:てこは十分に独立していて、その積が3倍の誤差の範囲で成り立つ。これが弱い輪です。アムダールの法則は、一部を速くしても、その部分にしか効かないと教えます。輪c、80%:実際に100分の1に届く。

計算:0.95 × 0.55 × 0.8 = 42%。まとめのページよりbを上げたのはなぜか。現実の世界が、私たちのかわりに実験をしてくれたからです。同じ性能なら、価格はどのてこ一つで説明できるよりずっと速く下がりました。てこが積み重なることの間接的な証拠です。ただし、この値下がりは、よりよく学習した新しいモデルからも来ていて、それはH6が除外しているものです。だから輪bは55%、それ以上ではありません。

確立

新情報:測られた価格の下落(2025年)

Epoch AIの測定では、性能を固定すると、1回の回答の価格は課題によって年に9〜900分の1に下がります。博士課程レベルの科学の質問でGPT-4の水準に届くコストは、毎年40分の1になりました。もっと慎重な別の研究は、最先端モデルについて年に5〜10分の1と見積もり、逆に最先端そのものを使うコストは、モデルが大きくなり、長く推論するようになったため、上がり続けていると指摘しています。

出典: Epoch AI, LLM inference prices have fallen rapidly but unequally across tasks (2025), The Price of Progress: Algorithmic Efficiency and the Falling Cost of AI Inference (2025)

X

H7 · 審判は発見させられるか? 43%、言い直し

H7の新しい主張:長く多様な学習を続ければ、信頼できる審判は、モデルが何千回挑戦しても一度も見つけられなかった解を見つけさせる。

輪a、95%:審判はモデルをより確実にする。確かめられています。輪b、45%:学習を延ばせば、モデルが見つけられる範囲を広げる。二つのチーム(しばしば同じ研究者が加わっています)が応酬しています。一方は、とくにコードで本当の広がりを示し、もう一方は、一般にモデルは得る解より多くの解への手がかりを失うと示しています。象徴的なことに、二つ目の研究のタイトルには、最新版で疑問符がつきました。

計算:0.95 × 0.45 = 43%。以前の50%より低いものの、より強く、よりはっきりした主張に対する値です。これはノートの今後にとっていちばん大事な仮説です。これが崩れれば、小さなモデルは独りでは、もともと偶然見つけていたものを決して超えられないことになります。

出典: Yue et al., Does RL Really Incentivize Reasoning Capacity Beyond the Base Model? (NeurIPS 2025)

有望

賛成:ProRL、延長した学習(2025年)

NVIDIAのLiuらは、学習を安定させ、課題を多様にしながら、15億パラメータのモデルを長く学習させました。モデルは、出発点のモデルが何回挑戦しても解けなかった問題を解きます。ただし著者ら自身が指摘しているように、出発点のモデルがすでに強かった数学では、128回での正答率がしばしば下がります。

出典: Liu et al., ProRL: Prolonged Reinforcement Learning Expands Reasoning Boundaries (NeurIPS 2025)

有望

反対:見えないリード(2025年)

ProRLの著者数人も加わったWuらは、学習を一歩ずつ追いました。多くのテストで見えたのは、強化学習は1回目を改善するものの、得るより多くの正しい答えへの手がかりを失うということです。モデルは出発点にリードでつながれたままです。それを断ち切るには、モデルが決して探らない領域に考えの種をまく必要があるでしょう。

出典: Wu et al., The Invisible Leash? Why RLVR May or May Not Escape Its Origin (2025)

XI

H8 · よく支えられた小さなモデル:55%から46%へ

H8の主張:確かめられる課題では、よく支えられた80億パラメータのモデルが、百倍大きなモデルに並ぶ。しかも同じかそれより低いコストで。

輪a、90%:同じ点数に届く。数学では確かめられています。512回の試行をふるい分けた10億パラメータのモデルが、4050億パラメータのモデルを上回ります。輪b、60%:すべての試行と審判を数えた総コストで、自分のごく一部しか動かさない専門家混合の巨人と比べても見劣りしない。輪c、85%:数学とコードを超えて、ほかの確かめられる課題でも成り立つ。

計算:0.9 × 0.6 × 0.85 = 46%。疑いの中心は輪bで、以前の55%はそこをごまかしていました。それでも、小さなモデルを後押しする新しいデータがあります。手元で動かせるものは、すぐに巨人に追いつくのです。

出典: Liu et al., Can 1B LLM Surpass 405B LLM? (2025)

確立

新情報:最先端は1年以内に手元へ(2025年)

Epoch AIの測定では、一般向けのグラフィックカード1枚に収まる最良の公開モデルは、テストによって最先端から約6〜12か月遅れているだけです。ただし注意も添えられています。小さなモデルはテスト向けに最適化されていることが多いので、実際の遅れはおそらくもう少し長いでしょう。

出典: Epoch AI, Frontier AI performance becomes accessible on consumer hardware within a year (2025)

XII

H9 · 世界が先生:55%から54%へ

H9の主張:ふつうのコンピュータの上で、外の審判は小さなモデルをはっきり伸ばす。何度も挑戦して見つけていたところという天井まで。

輪a、75%:選んだ一つの系統だけでなく、どの最近の小さなモデルでも、伸びがはっきりしている(少なくとも5ポイント)。輪b、90%:ゲーム用カード1枚で1週間に収まる。前のページの計算です。輪c、80%:天井の説明は正しい。見えないリードはそれを裏づけ、ProRLは異を唱えますが、1週間よりずっと長い学習のあとの話です。

計算:0.75 × 0.9 × 0.8 = 54%。ほとんど変わりませんが、疑いの場所が変わりました。下の研究のせいで、今は輪aにあります。予定している実験はLlamaを使います。まさに簡単な効果が消える系統です。かえって好都合で、そのぶん説得力のある実験になります。

確立

新情報:でたらめな報酬が効く……ただし一つの系統だけ(2026年)

Shaoらは、Qwen2.5-Math-7Bをくじで決めた報酬で強化学習させました。MATH-500テストで21.4ポイント上がり、本当の答えで得た29.1ポイントに迫ります。強化学習は主に、すでにあった癖(コードで考えること)を呼び覚ましているのです。Llama 3やOLMo 2では、この偽の報酬はほとんど何ももたらしません。教訓:勝利を宣言する前に、いくつもの系統で試すこと。

出典: Shao et al., Spurious Rewards: Rethinking Training Signals in RLVR (ICML 2026)

XIII

全体の見取り図

下がったもの:H2(75 → 64)、H4(70 → 44)、H8(55 → 46)、H7(50 → 43、言い直し)、そしてH9が1ポイント。ほとんどいつも同じ理由です。いちばん目立つ輪に数値をつけ、残りを当然のものとしていたのです。

上がったもの:新しい研究のおかげでH1(50 → 55)、測られた価格の下落のおかげでH6(35 → 42)、範囲を絞ってH3(40 → 48)。H5はほとんど動きません。

ノートの大きな主張は三つの仮説に支えられています。外部のメモリ(H2)、グラフとしての整理(H5)、そして審判とともに伸びる小さなモデル(H9)です。独立なら 0.64 × 0.64 × 0.54 = 22%。完全に独立ではない(同じ技術的現実が三つを支えている)ので、本当の値はもっと高く、ただしいちばん弱い54%は超えません。私たちは約30%と見ます。計画全体が成り立つ見込みは五分五分を下回ります。だからこそ、輪ごとに決着をつける必要があるのです。

図O — 疑いはどこに潜むか

現在の確からしさ(輪の積)以前の確からしさ輪 a、b、c

説明用の図です。考え方を示すもので、測定値ではありません。

各行が一つの仮説です。円はその輪で、それぞれ前の輪が正しいと仮定して数値をつけています。棒はそれらの積、つまり新しい確からしさで、赤い線は以前の値です。仮説はいちばん弱い輪と同じくらい、いや少しそれ以上にもろいものです。棒はいつも、いちばん左の円より左で終わります。
XIV

決着をつける三つの実験

どの実験が、私たちの数値をいちばん動かすでしょうか。それぞれについて、起こりうる結果と、その確率と、そこから導かれる確からしさを書きます。つじつまのルールが一つあります。実験後の確からしさの平均は、実験前の確からしさと等しくなければなりません。そうでなければ、結果がどちらに転ぶかもうわかっていることになり、すぐに数値を変えるべきだからです。三つすべてでこのルールを確かめました。

そのうえで期待される動きを測ります。確からしさの変化を確率で重みづけした合計です。大きいほど、その実験から多くを学べます。

推測

E1 · 二つの系統、本物の審判とでたらめな審判 · 約20ユーロ

前のページの実験を、LlamaとQwenで、本物の報酬とでたらめな報酬の両方で行います。ゲーム用カードで4週間です。結果は三通り。Llamaが本物の審判のときだけはっきり伸び、天井は変わらない(55%)→ H9 66%、H7 37%。伸びるのはQwenだけ(25%)→ H9 25%、H7 38%。Llamaが伸び、64回での正答率も跳ね上がる(20%)→ H9 60%、H7 65%。平均はH9 54.6%、H7 42.9%で、つじつまが合います。期待される動き:24ポイント。

推測

E2 · 階層つきラベルと平らなラベル · 約1万6000GPU時間

10億と80億パラメータのモデルを、ラベルなし、出どころのアドレスつき、レベルと依存関係つきで学習させます。結果は三通り。階層が平らなラベルに勝ち、80億でも保たれる(50%)→ H1 75%。役立つのは平らなラベルだけで、その利得は溶ける(30%)→ H1 40%。80億では何も残らない(20%)→ H1 25%。平均は54.5%で、つじつまが合います。期待される動き:約20ポイント。コスト:1パラメータ・1語あたり6回の演算、パラメータあたり20語、それを3通り、チップ1枚あたり毎秒400兆回の有効な演算(仮定)として、データセンターのGPUで約1万6000時間。研究所の仕事です。

推測

E3 · 5世代、すべて残す・まれなものだけ・何も残さない · 約50GPU時間

小さなモデル(1億2500万パラメータ)が、それぞれ前のモデルから5回続けて学びます。本物のデータをすべて残すか、もっともまれな5%だけを残すか、何も残さないか。結果は三通り。まれな5%がすべてと同じくらい効く(40%)→ H4 75%。半分ほど役立つ(45%)→ H4 25%。すべて残しても足りない(15%)→ H4 20%。平均は44.3%で、つじつまが合います。期待される動き:約25ポイント。借りたGPUで50時間ほど(文章の生成を含めた私たちの見積もり)です。

XV

この数値をどう使うか

実験の順序は計算から決まります。E1とE3は、E2の数百分の1から数千分の1の費用で、少なくとも同じくらい多くを教えてくれます。E1はふつうのコンピュータで、E3は数時間の借りた計算で済みます。まずこの二つを行うことを勧めます。

見直しのルール。あとでずるをしないためのものです。仮説の数値は、輪が変わったときにだけ変え、どの輪かを明記します。輪の一つが20%を下回った仮説は、習慣で残さず、言い直すか取り下げます。そして新しい仮説はすべて、はじめから輪に分けた形で加えます。

このページで得たのは、数値が一つ増えたことではありません。それぞれの仮説について、どの文を正確に証明するか、あるいは反証すればよいかがわかったことです。倒し方がわかっている仮説こそ、役に立つ仮説です。

ページの先頭へ