明日のAI 用語集
JA

← ノートに戻る

深掘り · 第V章

小さなモデルが巨人と肩を並べる?

Llama 3 8Bのパラメータは80億です。最大級の公開モデルは1兆以上あります。新しい巨人をつくらずに、この差を埋められるでしょうか。私たちの答えは一文で言えます。小さなモデルは大きくある必要はなく、大きなモデルが重みにしまっているものに手が届けばよいのです。以下が、その理由と計算と限界です。

有望 更新日

I

問いを正直に立てる

Llama 3 8Bは2024年4月に公開されました。15兆を超えるトークンで学習しましたが、パラメータは80億しかありません。一方のKimi K2は1兆あり、最先端の非公開モデルはおそらくさらに大きいでしょう。ただし公式の数字はありません。大きさの差は125倍から数百倍に及びます。

「同じくらい賢い」の意味をはっきりさせないと、この問いには答えられません。何について、そしてどれだけの費用で同じくらいなのか。巨人に並んでも10倍の費用がかかるなら、小さなモデルは何も得ていません。そこで私たちは、同じ数の正解を、同等以下の費用で出せる小さなモデルを探します。そして、それがどんな種類の課題で可能そうかを述べます。

出典: Meta, Llama 3 8B model card (2024), Kimi Team, Kimi K2 (2025)

II

差はどこから来るのか。四つの別々のもの

大きなモデルのほうが成績がよいとき、その強みは一つではなく四つあります。四つはそれぞれ違う方法でしか埋まりません。そこに問題全体の鍵があります。

1. 知識、つまり覚えている事実です。このノートは最初から見てきました。モデルが蓄えられる知識は、パラメータ1つあたり約2ビットです。計算してみましょう。80億×2ビット=160億ビットで、Llama 3 8Bの知識は約2GBです。1兆パラメータのモデルなら約250GB。比は125です。

2. 到達範囲:モデルは少なくとも時々は正しい答えにたどり着けるか。1回目で正解する確率を p としましょう。p がゼロなら、その問題は手の届かないところにあります。3. 信頼性:p はゼロではないが小さい。解き方はわかっているのに、よくまちがえる状態です。

4. 幅:あらゆることを少しずつ知り、離れた分野を結びつけ、微妙な違いを感じとり、唯一の「正解」がない問いを判断する力です。

私たちの中心となる考えはこうです。それぞれの部分には、それぞれの処方があります。知識は外部メモリに置きます。到達範囲は先生から学ぶか、道具から借ります。信頼性は、審判がいる限り、何度も試すことで買えます。幅には単純な処方がありません。パラメータが本当に何かを買っているのはそこだ、と私たちは考えます。

出典: Allen-Zhu & Li, Physics of Language Models 3.3 (2024)

III

到達範囲を埋める:先生と道具

モデルは、組み立てようのない答えには決してたどり着きません。処方は二つです。すでに知っている先生から学ぶ(蒸留)か、その力を持つ道具から借りる(電卓、コードの実行環境)かです。次の二つの研究は、「古い」骨組みでも十分だと示しています。

確立

古い骨組みに新しい先生:DeepSeek-R1-Distill-Llama-8B

DeepSeekは、Llama 3と同じ系統のLlama 3.1 8Bを、大きなモデルR1が書いた推論で学習させました。結果は、数学コンテストAIME 2024で50.4%(GPT-4oは9.3%)、MATH-500で89.1%(同74.6%)。科学(GPQA Diamond)では49.0%対49.9%で、ほぼ互角です。比較のために言うと、Meta自身のLlama 3.1 8BはMATHで51.9%と発表されています。似ているけれど同じではない試験です。パラメータの数は変わっていません。変わったのは、教えた中身です。

出典: DeepSeek-AI, DeepSeek-R1 (2025), Meta, Llama 3.1 8B Instruct model card (2024)

確立

力を借りる:計算道具を使うToRA

ToRAは、モデルに言葉での推論と、実行させる小さなプログラムを行き来することを教えます。計算や記号代数を任せるのです。Llama 2(2023年)をもとにしたToRA-7Bは、MATHで44.6%に達しました。当時最良の公開モデルより22ポイント高く、そのモデルは10倍大きな700億パラメータでした。340億パラメータ版は、道具なしで推論するGPT-4さえ上回ります。道具は計算をまちがえません。モデルは何を頼めばよいかを知っていればよいのです。

出典: Gou et al., ToRA (ICLR 2024)

IV

信頼性を埋める:何度も試して選ぶ

p が小さくてもゼロでなければ、処方は原理的には単純です。何度も試して、正しい試行を残すのです。そうなると、すべては正解を見分ける審判にかかっています。三つの研究が、どこまで通用するかを測っています。

確立

Large Language Monkeys:250回の試行(2024年)

試行を増やすと、少なくとも1回は解けた問題の割合が、4桁にわたって着実に上がります。GitHubのプロジェクトから集めた実際の課題でできたベンチマークSWE-bench Liteでは、あるモデルが1回では15.9%、250回では56%になり、当時の1回試行での最高記録(43%)を超えました。ただし自動で確かめる手段がない分野では、多数決や採点モデルで選ぶやり方は、数百回を超えると頭打ちになります。

出典: Brown et al., Large Language Monkeys (2024)

有望

10億対4,050億(2025年)

よく調整した試行の戦略と、推論の一歩ごとに採点するモデルを使うと、Llama 3.2 1Bは512回の試行でMATH-500の72.2%を記録しました。1回だけのLlama 3.1 405Bは71.4%です。わずかな勝利で、より難しいAIME 2024では小さなほうが負けます。私たちの計算では、10億パラメータのモデルの512回の試行は、1単語あたりで4,050億パラメータのモデル1回とほぼ同じ数のパラメータを使います(512対405)。審判の分は含みません。計算量がほぼ同じなら、小さなほうが互角になるのです。

出典: Liu et al., Can 1B LLM Surpass 405B LLM? (2025)

有望

rStar-Math:チェスのように探す(Microsoft、2025年)

小さなモデルが、チェスのプログラムが指し手を探るように、解き方を一歩ずつ探ります。その一歩ごとを、もう一つの小さなモデルが判定します。両者は74万7,000問を使い、4巡にわたって一緒に上達しました。Qwen2.5-Math-7BはMATHで58.8%から90.0%へ、Phi3-mini(38億)は41.4%から86.4%へ上がり、o1-previewを上回りました。著者たちはより強いモデルから蒸留していません。

出典: Guan et al., rStar-Math (2025)

V

知識を埋める:メモリと専門家

事実については処方は明らかに見えます。覚えるのではなく、調べるのです。ところが結果は思ったより微妙です。そして専門分野については、別の考えがうまくいきます。一人の万能型ではなく、多くの小さな専門家です。

確立

MassiveDS:調べられる1兆トークン(2024年)

ワシントン大学のチームは、モデルが答えながら調べる1.4兆トークンの保管庫をつくりました。事実を問う質問(TriviaQA、Natural Questions)では、1,000億トークン未満の保管庫を使うLlama 2 7Bが、保管庫なしのLlama 2 13BとLlama 3 8Bに勝ちます。けれども、より多くの推論を求めるMMLUとMedQAでは、メモリがあっても小さなモデルは大きなモデルを追い越せません。調べることで得られるのは事実であって、事実どうしを結ぶ推論ではないのです。

出典: Shao et al., Scaling Retrieval-Based Language Models with a Trillion-Token Datastore (2024)

有望

LoRA Land:310の専門家対GPT-4(2024年)

Predibaseは、4ビットのLoRAアダプタで310個の小さなモデル(ベースモデル10種×課題31種)を微調整しました。平均すると、それぞれの課題でベースモデルを34ポイント、GPT-4を10ポイント上回りました。さらにベースモデルを共有するので、Mistral 7Bの専門家25個が80GBのGPU1枚に収まります。限界もあります。これは範囲のはっきりした狭い課題で、自由な会話ではありません。

出典: Zhao et al., LoRA Land (Predibase, 2024)

VI

計算:小さなモデルが勝つのはいつか

単純なモデルを組み立ててみましょう。小さなモデルの1回の試行が正解する確率を p とします。k 回の独立した試行と完璧な審判があれば、少なくとも1回が正解する確率は 1 − (1 − p)ᵏ です。たとえば p =30%で5回なら、1 − 0.7⁵ = 1 − 0.168 = 83% です。

1回目で80%正解する大きなモデルに並ぶには、何回の試行が必要でしょうか。1 − (1 − p)ᵏ ≥ 0.8、つまり k ≥ ln(0.2) / ln(1 − p) が必要です。p =30%なら5回、12%なら13回、5%なら32回、0%なら決して届きません。下の図がこれです。

残るは費用です。小さなモデルの1回は、大きなモデルの1回の c 倍の費用がかかります。おおよそ、1単語あたりに動くパラメータの比です。k × c < 1 なら小さなモデルが得です。二つの式を合わせると境目が出てきます。p が 1 − 0.2ᶜ を超えたとたん、小さなモデルの勝ちです。この境目は、相手の巨人によって大きく変わります。

密な2兆パラメータの巨人が相手なら、c = 8 / 2,000 = 0.004 で、境目は0.6%まで下がります。小さなモデルがまれにでもできることは、ほとんどすべて割に合うのです。稼働パラメータ1,000億の専門家混合の巨人が相手なら、c = 0.08 で境目は12%に上がります。稼働320億のKimi K2が相手なら、c = 0.25 で境目は33%に達します。

教訓は二つです。第一に、巨人が節約上手なほど、勝つのは難しくなります。自分のごく一部しか動かさない専門家混合の巨人は、小さなモデルの利点を小さくします。第二に、審判こそが要です。審判がいなければ、k 回の試行のどれを残すべきかわかりません。最後に、正直な注意です。この計算は試行が独立で、審判の費用がゼロだと仮定しています。実際にはモデルは同じまちがいをくり返しがちで、Brownらは私たちの式より遅い上がり方を観察しています。試行回数が2倍になるごとに、だいたい同じだけ伸びる、という上がり方です。したがって、この計算が示すより多くの試行が必要になります。

出典: Kimi Team, Kimi K2 (2025), Brown et al., Large Language Monkeys (2024)

図M — 試行を重ねて巨人に追いつく

30%の確率で正解:5回で十分12%:13回5%:32回0%:決して届かない

説明用の図です。考え方を示すもので、測定値ではありません。

各曲線は式 1 − (1 − p)ᵏ に従います。審判が正解を見分けられるとき、k 回の試行のうち少なくとも1回が正解する確率です。点は、小さなモデルが、1回目で80%正解する大きなモデルに追いつく位置を示します。理想化した計算です。実際には同じモデルの試行は互いに似ているので、もっと多くの試行が必要です。
VII

計画:小さなモデルの工房

私たちの提案です。レオナルドの工房で親方のまわりに弟子と道具が集まるように、ノートの道筋を小さなモデルのまわりに組み合わせます。部品は六つです。

1. 振り分け役が質問の種類(計算、コード、事実、文章)を見分け、役に立つ部品を選びます。2. 専門家の書庫:大きなモデルから学んだ、分野ごとのLoRAアダプタです。私たちの計算では、Llama 3 8Bの全層にかけたランク16のアダプタは約4,200万パラメータで、モデルの0.5%、約84MBです。千の専門家で84GB、しかも一度に動くのは一つだけ。システムの規模での専門家混合です。

3. 階層化した外部メモリ:第II章と第III章で見たように、事実は重みではなく、木やグラフの形に整理した保管庫に置きます。4. 道具とプログラムの箱:電卓、コードの実行環境、ソルバー、そしてすでに見つけたプログラムを、Voyagerの技能ライブラリのように再利用します。

5. 審判:コードならテスト、数学なら検算、それ以外では一歩ごとに採点するモデルです。小さなモデルが何度も試し、審判が選びます。6. 最後の頼み:審判を通るものがなければ、カスケードと同じように質問は大きなモデルへ上がります。その答えは、検証したうえで、次の専門家の学習に使います。ピラミッドの上が下を教えるのです(仮説H7)。

最後の計算で、全体が割に合うかどうかがわかります。1問の費用は、k × c(小さなモデルの試行)に、大きなモデルへ上がる質問の割合 e を足したものです。c = 0.08 で8回試すなら、0.64 + e です。工房が割に合うのは、上がる質問が36%未満のあいだです。10%なら費用は0.74で、巨人だけを使うよりおよそ4分の1安くなります。しかも上がった質問はどれも専門家を豊かにするので、e は時間とともに下がるはずです。

出典: Zhao et al., LoRA Land (Predibase, 2024), Wang et al., Voyager (2023)

VIII

Llama 3のような古いモデルでは?

よい知らせがあります。重みの古さより、そのあと何を教えるかのほうが大事です。ToRAはLlama 2(2023年)をもとに、DeepSeek-R1-Distill-Llama-8BはLlama 3と同じ系統のLlama 3.1 8Bをもとにつくられました。どちらも、よい例で追加学習しただけで成績が跳ね上がりました。

Llama 3 8Bの本当の限界は別のところにあります。コンテキストの長さは8,000トークン、約6,000語、十数ページ分です。メモリから引いてきた文書を読むには少なすぎます。Llama 3.1では128,000に広がりました。数学の出発点は、Metaによれば MATHで30%です。出発点が低いほど p は小さく、必要な試行が増えるか、先生が必要になります。

古いモデルのための私たちのレシピは、この順番です。まずアダプタを先生から学ばせ、長く推論し、道具を呼べるようにします。次にメモリと道具で、事実と計算を補います。最後に、審判のいる場面では、審判つきの複数回の試行です。順番が大事です。複数回の試行が効くのは p がすでに十分大きいときだけで、p を上げるのは先生なのです。

出典: Meta, Llama 3 8B model card (2024), Meta, Llama 3.1 8B Instruct model card (2024)

IX

通用しないこと

審判のいない質問。 文章を書く、助言する、答えの決まらない問いに結論を出す。どの試行が最良かをプログラムは教えてくれません。多数決や採点モデルで選ぶやり方は、数百回で頭打ちになります。

到達範囲がゼロ。 p がゼロなら、何回試しても役に立ちません。強化学習でさえ、ベースモデルが何度も試して見つけられる範囲を超えません。そのときは先生か道具が必要ですが、いつもあるとは限りません。

幅。 散らばった千の事実を結びつけ、微妙な違いを感じとり、長い文書を頭に置いておくこと。メモリは一つの具体的な事実には役立ちますが、多くの事実を同時に使う推論にはあまり役立ちません。MassiveDSでも、MMLUで小さなモデルが大きなモデルを追い越すことはありませんでした。パラメータが本当に何かを買っているのはそこだ、と私たちは考えます。

時間。 32回の試行には時間か、並列に動く機械が必要です。なめらかな会話のためには、総費用が安くても本物のブレーキになります。

出典: Brown et al., Large Language Monkeys (2024), Yue et al., Does RL Really Incentivize Reasoning Capacity Beyond the Base Model? (NeurIPS 2025), Shao et al., Scaling Retrieval-Based Language Models with a Trillion-Token Datastore (2024)

X

私たちの賭け、数字つき

ここからは私たち自身の推論で、発表された成果ではありません。ノートの仮説と同じように、それぞれの賭けに確からしさをつけています。

推測

確かめられる課題では、差のほとんどは信頼性の問題 · 65%

数学、テストつきのコード、形式的な証明では、小さなモデルは正しい答えにときどきたどり着くことが多いのです。それを試行と審判で増やせば、差の大部分は埋まります。もし、巨人は解けるのに小さなモデルは千回試しても一度も解けない問題がたくさん見つかれば、この賭けは負けです。

推測

孤立した事実は、パラメータではなくディスクで買える · 60%

答えが一つの文書に収まる質問なら、よい外部メモリは数千億パラメータ分の価値があります。多くの事実を組み合わせる必要がある質問では、その価値はずっと小さくなります。

推測

道具のそろった古い8Bは、決まった課題の一覧で巨人に並ぶ · 55%

あらかじめ決めた確かめられる課題の集まりでは、アダプタ、メモリ、道具、審判をそなえたLlama 3 8Bが、1兆パラメータのモデルの水準に、同等の費用で届くはずです。これが私たちの仮説H8です。

推測

答えの決まらない課題では、差は残る · 70%

書く、助言する、判断する。検証役がなければ、試行を増やしてもほとんど役に立ちません。そして幅は一つのアダプタには蒸留できません。ここでは巨人がはっきり優位を保つと私たちは考えます。

XI

行うべき実験と、私たちの予測

Llama 3.1 8Bを、あるいは条件を厳しくするならLlama 3 8Bを選び、工房をつくります。そして同じ費用で、最先端のモデルと四種類の課題で比べます。数学(MATH-500、AIME)、テストつきのコード(LiveCodeBench)、メモリを使う事実(TriviaQA、Natural Questions)、そして人間が判定する答えの決まらない質問です。

私たちの予測を、実験の前に書いておきます。まちがっていたら指摘できるようにするためです。数学とコードでは、同等以下の費用で巨人との差5ポイント以内。事実では、よいメモリがあれば10ポイント以内。答えの決まらない質問では、はっきり後れをとります。もし数学の差が15ポイントを超えたら、信頼性についての私たちの賭けは負けで、H8を下げます。

ページの先頭へ