← ノートに戻る
深掘り · 第V章
小さなモデルが巨人と肩を並べる?
Llama 3 8Bのパラメータ は80億 です。最大級の公開モデルは1兆 以上あります。新しい巨人をつくらずに、この差を埋められるでしょうか。私たちの答えは一文で言えます。小さなモデルは大きくある 必要はなく、大きなモデルが重みにしまっているものに手が届けば よいのです。以下が、その理由と計算と限界です。
有望 更新日 2026-11-14
目次
I 問いを正直に立てるII 差はどこから来るのか。四つの別々のものIII 到達範囲を埋める:先生と道具IV 信頼性を埋める:何度も試して選ぶV 知識を埋める:メモリと専門家VI 計算:小さなモデルが勝つのはいつかVII 計画:小さなモデルの工房VIII Llama 3のような古いモデルでは?IX 通用しないことX 私たちの賭け、数字つきXI 行うべき実験と、私たちの予測
大きなモデルのほうが成績がよいとき、その強みは一つではなく四つあります。四つはそれぞれ違う方法でしか埋まりません。そこに問題全体の鍵があります。
1. 知識 、つまり覚えている事実です。このノートは最初から見てきました。モデルが蓄えられる知識は、パラメータ1つあたり約2ビットです。計算してみましょう。80億×2ビット=160億ビットで、Llama 3 8Bの知識は約2GB です。1兆パラメータのモデルなら約250GB 。比は125です。
2. 到達範囲 :モデルは少なくとも時々は 正しい答えにたどり着けるか。1回目で正解する確率を p としましょう。p がゼロなら、その問題は手の届かないところにあります。3. 信頼性 :p はゼロではないが小さい。解き方はわかっているのに、よくまちがえる状態です。
4. 幅 :あらゆることを少しずつ知り、離れた分野を結びつけ、微妙な違いを感じとり、唯一の「正解」がない問いを判断する力です。
私たちの中心となる考えはこうです。それぞれの部分には、それぞれの処方があります 。知識は外部メモリ に置きます。到達範囲は先生から学ぶか、道具から借ります。信頼性は、審判がいる限り、何度も試すことで買えます。幅には単純な処方がありません。パラメータが本当に何かを買っているのはそこだ、と私たちは考えます。
出典: Allen-Zhu & Li, Physics of Language Models 3.3 (2024)
モデルは、組み立てようのない答えには決してたどり着きません。処方は二つです。すでに知っている先生から学ぶ (蒸留 )か、その力を持つ道具から借りる (電卓、コードの実行環境)かです。次の二つの研究は、「古い」骨組みでも十分だと示しています。
確立
古い骨組みに新しい先生:DeepSeek-R1-Distill-Llama-8B DeepSeekは、Llama 3と同じ系統のLlama 3.1 8B を、大きなモデルR1が書いた推論で学習させました。結果は、数学コンテストAIME 2024で50.4% (GPT-4oは9.3%)、MATH-500で89.1% (同74.6%)。科学(GPQA Diamond)では49.0%対49.9%で、ほぼ互角です。比較のために言うと、Meta自身のLlama 3.1 8BはMATHで51.9%と発表されています。似ているけれど同じではない試験です。パラメータの数は変わっていません。変わったのは、教えた中身です。
出典: DeepSeek-AI, DeepSeek-R1 (2025) , Meta, Llama 3.1 8B Instruct model card (2024)
確立
力を借りる:計算道具を使うToRA ToRAは、モデルに言葉での推論と、実行させる小さなプログラムを行き来する ことを教えます。計算や記号代数を任せるのです。Llama 2(2023年)をもとにしたToRA-7Bは、MATHで44.6% に達しました。当時最良の公開モデルより22ポイント高く、そのモデルは10倍大きな 700億パラメータでした。340億パラメータ版は、道具なしで推論するGPT-4さえ上回ります。道具は計算をまちがえません。モデルは何を頼めばよいかを知っていればよいのです。
出典: Gou et al., ToRA (ICLR 2024)
p が小さくてもゼロでなければ、処方は原理的には単純です。何度も試して、正しい試行を残す のです。そうなると、すべては正解を見分ける審判にかかっています。三つの研究が、どこまで通用するかを測っています。
確立
Large Language Monkeys:250回の試行(2024年) 試行を増やすと、少なくとも1回は解けた問題の割合が、4桁にわたって着実に上がります。GitHubのプロジェクトから集めた実際の課題でできたベンチマーク SWE-bench Liteでは、あるモデルが1回では15.9%、250回では56% になり、当時の1回試行での最高記録(43%)を超えました。ただし自動で確かめる手段がない分野では、多数決や採点モデルで選ぶやり方は、数百回を超えると頭打ち になります。
出典: Brown et al., Large Language Monkeys (2024)
有望
10億対4,050億(2025年) よく調整した試行の戦略と、推論の一歩ごとに採点するモデルを使うと、Llama 3.2 1B は512回の試行でMATH-500の72.2% を記録しました。1回だけのLlama 3.1 405Bは71.4% です。わずかな勝利で、より難しいAIME 2024では小さなほうが負けます。私たちの計算では、10億パラメータのモデルの512回の試行は、1単語あたりで4,050億パラメータのモデル1回とほぼ同じ数のパラメータを使います(512対405)。審判の分は含みません 。計算量がほぼ同じなら、小さなほうが互角になるのです。
出典: Liu et al., Can 1B LLM Surpass 405B LLM? (2025)
有望
rStar-Math:チェスのように探す(Microsoft、2025年) 小さなモデルが、チェスのプログラムが指し手を探るように、解き方を一歩ずつ探ります。その一歩ごとを、もう一つの小さなモデルが判定します。両者は74万7,000問を使い、4巡にわたって一緒に上達しました。Qwen2.5-Math-7BはMATHで58.8%から90.0% へ、Phi3-mini(38億)は41.4%から86.4%へ上がり、o1-previewを上回りました。著者たちはより強いモデルから蒸留していません 。
出典: Guan et al., rStar-Math (2025)
事実については処方は明らかに見えます。覚えるのではなく、調べる のです。ところが結果は思ったより微妙です。そして専門分野については、別の考えがうまくいきます。一人の万能型ではなく、多くの小さな専門家です。
単純なモデルを組み立ててみましょう。小さなモデルの1回の試行が正解する確率を p とします。k 回の独立した試行と完璧な審判があれば、少なくとも1回が正解する確率は 1 − (1 − p)ᵏ です。たとえば p =30%で5回なら、1 − 0.7⁵ = 1 − 0.168 = 83% です。
1回目で80%正解する大きなモデルに並ぶには、何回の試行が必要でしょうか。1 − (1 − p)ᵏ ≥ 0.8、つまり k ≥ ln(0.2) / ln(1 − p) が必要です。p =30%なら5回、12%なら13回、5%なら32回、0%なら決して届きません。下の図がこれです。
残るは費用です。小さなモデルの1回は、大きなモデルの1回の c 倍の費用がかかります。おおよそ、1単語あたりに動くパラメータの比です。k × c < 1 なら小さなモデルが得です。二つの式を合わせると境目 が出てきます。p が 1 − 0.2ᶜ を超えたとたん、小さなモデルの勝ちです。この境目は、相手の巨人によって大きく変わります。
密な 2兆パラメータの巨人が相手なら、c = 8 / 2,000 = 0.004 で、境目は0.6% まで下がります。小さなモデルがまれにでもできることは、ほとんどすべて割に合うのです。稼働パラメータ1,000億の専門家混合 の巨人が相手なら、c = 0.08 で境目は12% に上がります。稼働320億のKimi K2が相手なら、c = 0.25 で境目は33% に達します。
教訓は二つです。第一に、巨人が節約上手なほど、勝つのは難しくなります 。自分のごく一部しか動かさない専門家混合の巨人は、小さなモデルの利点を小さくします。第二に、審判こそが要です 。審判がいなければ、k 回の試行のどれを残すべきかわかりません。最後に、正直な注意です。この計算は試行が独立で、審判の費用がゼロだと仮定しています。実際にはモデルは同じまちがいをくり返しがちで、Brownらは私たちの式より遅い上がり方を観察しています。試行回数が2倍になるごとに、だいたい同じだけ伸びる、という上がり方です。したがって、この計算が示すより多くの試行が必要になります。
出典: Kimi Team, Kimi K2 (2025) , Brown et al., Large Language Monkeys (2024)
図M — 試行を重ねて巨人に追いつく
0% 20% 40% 60% 80% 100% 1 2 4 8 16 32 64 128 256 大きなモデル、1回だけ:80%
小さなモデルの試行回数(1目盛りごとに2倍)
少なくとも1回は正解する確率
30%の確率で正解:5回で十分 12%:13回 5%:32回 0%:決して届かない
説明用の図です。考え方を示すもので、測定値ではありません。
各曲線は式 1 − (1 − p)ᵏ に従います。審判が正解を見分けられるとき、k 回の試行のうち少なくとも1回が正解する確率です。点は、小さなモデルが、1回目で80%正解する大きなモデルに追いつく位置を示します。理想化した計算です。実際には同じモデルの試行は互いに似ているので、もっと多くの試行が必要です。
私たちの提案です。レオナルドの工房で親方のまわりに弟子と道具が集まるように、ノートの道筋を小さなモデルのまわりに組み合わせます。部品は六つです。
1. 振り分け役 が質問の種類(計算、コード、事実、文章)を見分け、役に立つ部品を選びます。2. 専門家の書庫 :大きなモデルから学んだ、分野ごとのLoRAアダプタです。私たちの計算では、Llama 3 8Bの全層にかけたランク16のアダプタは約4,200万パラメータ で、モデルの0.5%、約84MBです。千の専門家で84GB、しかも一度に動くのは一つだけ。システムの規模での専門家混合です。
3. 階層化した外部メモリ :第II章と第III章で見たように、事実は重みではなく、木やグラフの形に整理した保管庫に置きます。4. 道具とプログラムの箱 :電卓、コードの実行環境、ソルバー、そしてすでに見つけたプログラムを、Voyagerの技能ライブラリのように再利用します。
5. 審判 :コードならテスト、数学なら検算、それ以外では一歩ごとに採点するモデルです。小さなモデルが何度も試し、審判が選びます。6. 最後の頼み :審判を通るものがなければ、カスケードと同じように質問は大きなモデルへ上がります。その答えは、検証したうえで、次の専門家の学習に使います。ピラミッドの上が下を教えるのです(仮説H7)。
最後の計算で、全体が割に合うかどうかがわかります。1問の費用は、k × c (小さなモデルの試行)に、大きなモデルへ上がる質問の割合 e を足したものです。c = 0.08 で8回試すなら、0.64 + e です。工房が割に合うのは、上がる質問が36%未満 のあいだです。10%なら費用は0.74で、巨人だけを使うよりおよそ4分の1安くなります。しかも上がった質問はどれも専門家を豊かにするので、e は時間とともに下がるはずです。
出典: Zhao et al., LoRA Land (Predibase, 2024) , Wang et al., Voyager (2023)
H7 · 審判は研ぐだけでなく、発見させられる (43 %)
よい知らせがあります。重みの古さより、そのあと何を教えるかのほうが大事です。ToRAはLlama 2(2023年)をもとに、DeepSeek-R1-Distill-Llama-8BはLlama 3と同じ系統のLlama 3.1 8Bをもとにつくられました。どちらも、よい例で追加学習しただけで成績が跳ね上がりました。
Llama 3 8Bの本当の限界は別のところにあります。コンテキストの長さは8,000トークン 、約6,000語、十数ページ分です。メモリから引いてきた文書を読むには少なすぎます。Llama 3.1では128,000に広がりました。数学の出発点は、Metaによれば MATHで30% です。出発点が低いほど p は小さく、必要な試行が増えるか、先生が必要になります。
古いモデルのための私たちのレシピは、この順番です。まずアダプタ を先生から学ばせ、長く推論し、道具を呼べるようにします。次にメモリと道具 で、事実と計算を補います。最後に、審判のいる場面では、審判つきの複数回の試行 です。順番が大事です。複数回の試行が効くのは p がすでに十分大きいときだけで、p を上げるのは先生なのです。
出典: Meta, Llama 3 8B model card (2024) , Meta, Llama 3.1 8B Instruct model card (2024)
ここからは私たち自身の推論で、発表された成果ではありません。ノートの仮説と同じように、それぞれの賭けに確からしさをつけています。
H8 · 道具のそろった小さなモデルは巨人に並ぶ……確かめられる場面では (46 %)
推測
確かめられる課題では、差のほとんどは信頼性の問題 · 65% 数学、テストつきのコード、形式的な証明では、小さなモデルは正しい答えにときどき たどり着くことが多いのです。それを試行と審判で増やせば、差の大部分は埋まります。もし、巨人は解けるのに小さなモデルは千回試しても一度も解けない問題がたくさん見つかれば、この賭けは負けです。
推測
孤立した事実は、パラメータではなくディスクで買える · 60% 答えが一つの文書に収まる質問なら、よい外部メモリは数千億パラメータ分の価値があります。多くの事実を組み合わせる 必要がある質問では、その価値はずっと小さくなります。
推測
道具のそろった古い8Bは、決まった課題の一覧で巨人に並ぶ · 55% あらかじめ決めた確かめられる課題の集まりでは、アダプタ、メモリ、道具、審判をそなえたLlama 3 8Bが、1兆パラメータのモデルの水準に、同等の費用で届くはずです。これが私たちの仮説H8です。
推測
答えの決まらない課題では、差は残る · 70% 書く、助言する、判断する。検証役 がなければ、試行を増やしてもほとんど役に立ちません。そして幅は一つのアダプタには蒸留できません。ここでは巨人がはっきり優位を保つと私たちは考えます。
Llama 3.1 8Bを、あるいは条件を厳しくするならLlama 3 8Bを選び、工房をつくります。そして同じ費用で 、最先端のモデルと四種類の課題で比べます。数学(MATH-500、AIME)、テストつきのコード(LiveCodeBench)、メモリを使う事実(TriviaQA、Natural Questions)、そして人間が判定する答えの決まらない質問です。
私たちの予測を、実験の前に書いておきます 。まちがっていたら指摘できるようにするためです。数学とコードでは、同等以下の費用で巨人との差5ポイント以内。事実では、よいメモリがあれば10ポイント以内。答えの決まらない質問では、はっきり後れをとります。もし数学の差が15ポイントを超えたら、信頼性についての私たちの賭けは負けで、H8を下げます。
H8 · 道具のそろった小さなモデルは巨人に並ぶ……確かめられる場面では (46 %)
出典 Meta, Llama 3 8B model card (2024) Kimi Team, Kimi K2 (2025) Allen-Zhu & Li, Physics of Language Models 3.3 (2024) DeepSeek-AI, DeepSeek-R1 (2025) Meta, Llama 3.1 8B Instruct model card (2024) Gou et al., ToRA (ICLR 2024) Brown et al., Large Language Monkeys (2024) Liu et al., Can 1B LLM Surpass 405B LLM? (2025) Guan et al., rStar-Math (2025) Shao et al., Scaling Retrieval-Based Language Models with a Trillion-Token Datastore (2024) Zhao et al., LoRA Land (Predibase, 2024) Wang et al., Voyager (2023) Yue et al., Does RL Really Incentivize Reasoning Capacity Beyond the Base Model? (NeurIPS 2025) すべての出典 (127) →
chi poco pensa molto erra ページの先頭へ