確立
モデルの記憶には限りがある
統制された実験によると、十分に学習した言語モデルが蓄えられる知識は1パラメータあたり約2ビットで、それ以上は増えません。一つひとつのパラメータが貴重であり、細部で埋めればその分のコストがかかります。
生きたノート · 手稿 第1号
明日のAI
知識を学ぶ前に整理したらどうなるだろう？
このノートは私たちのホワイトボードです。AIを別のやり方でつくり、コストを下げ、消費を減らし、間違いを減らすにはどうすればよいか。その問いについて、手がかり、仮説、暫定的な結論を書き留めていきます。最初のテーマは、学ぶためと参照するためのデータの階層化です。
出発点
現在のモデルは「平らなスープ」で学習しています。何兆もの単語が、すべて同じ高さに並んでいるのです。何気ない投稿も物理の教科書も同じ重さです。私たちの出発点となる直感はこうです。AIの膨大なデータ需要の一部は、誰も与えてくれない階層を組み立て直すために使われているのではないか。
図1 — 知識のピラミッド
- 原理
- 規則
- 事実
- 観察
確立
ノイズは高くつき、ラベルは役立つ
同じ研究では、学習テキスト8件のうち7件がノイズだと、有用な知識を保持する能力が最大で20分の1に落ちました。各テキストの前に出典サイト名を付けるだけで、モデルは情報をはっきり選り分けやすくなります。出典ラベルは、それ自体が小さな階層です。
学ぶための階層
階層を使う一つ目の方法は、学習データを整理し選び抜くことです。そうすればモデルは、より少ないデータで、より速く学べます。ばらばらのメモの山ではなく、良い教科書で学ぶ生徒のようなものです。
確立
量より質
「教科書品質」のデータで学習したphi-1（13億パラメータ）は、プログラミングで10倍大きく、100倍多いデータで学習したモデルを上回りました。
順番に学ぶと役立つ……
データを易しいものから難しいものへ並べて学習した200以上のモデルは、18〜45%少ないステップで基準の水準に達しました。順序づけた「ウォームアップ」の後にランダムな順序に切り替えると、最大3.5%の優位が続きます。
確立
……ただし、どこでもではない
2026年の別の研究では、この効果は規模に左右され、順序は主に小さなモデルを安定させることがわかりました。全体として、順序づけた学習についての発表結果はまだ一致していません。
出典： Elgaar & Amiri, Curriculum Learning for LLM Pretraining (2026)
賢く捨てる
残す価値のあるデータを測る良い尺度があれば、誤差は通常のゆるやかな法則に従うのではなく、残したデータ量に対して指数関数的に下がりうることが示されました。理論で示され、画像タスクで実証されています。
出典： Sorscher et al., Beyond neural scaling laws (NeurIPS 2022)
言葉ではなく概念で考える
MetaのLarge Concept Modelsは、200言語が共有する意味の空間で、文ごとに推論します。単語から概念へと至る、明示的な階層です。ただし現時点では、従来のモデルほど流暢ではありません。
確立
コピーのコピーという罠
前のモデルが生成したデータで次のモデルを学習させ、本物のデータを置き換えていくと、モデルは痩せ細ります。最初に消えるのは珍しいケースです。一方、本物のデータと合成データを蓄積していけば、この崩壊は避けられます。
出典： Shumailov et al., AI models collapse… (Nature, 2024), Gerstgrasser et al., Is Model Collapse Inevitable? (2024)
参照するための階層
二つ目の方法は、知識をモデルの外に置き、図書館（区画、棚、本、ページ）のように段に分けて整理することです。モデルは答えるのに必要な深さまでしか下りません。
図2 — 下りながら探す
16 文書 · 4 段階
確立
暗記するより参照する
RETRO（DeepMind）は、文章を書きながら2兆トークンのデータベースを参照します。GPT-3に匹敵する性能を、25分の1のパラメータで実現しました。
確立
要約の木
RAPTORは、テキストの断片をまとめて要約し、さらにその要約を要約して、一本の木をつくります。GPT-4と組み合わせると、難問のテスト（QuALITY）で精度が20ポイント向上しました。
確立
考えのコミュニティ
GraphRAG（Microsoft）は、コーパス内の実体をつないでグラフにし、入れ子状のコミュニティに分け、各階層を要約します。コーパス全体に関わる質問では、比較の70〜80%で従来の検索を上回りました。その代わり、最初の索引づくりに費用がかかります。
有望
モデルの中のメモリ
Metaの「メモリ層」は、必要に応じて参照される何百万ものキーと値の組を追加します。計算量を増やさずに知識を増やす仕組みです。事実に関する質問では、精度が2倍以上になりました。
有望
コストが対数的になる
エージェント向けの最近の階層型メモリは、段ごとに探索範囲を絞り込みます。コストはおおむねメモリの大きさの対数に比例して増えるだけです。2026年の理論研究は、こうしたシステムがすべて同じ型、つまりまとめる、圧縮する、必要に応じて展開するに従うことを示しました。
出典： Talebirad et al., Toward a Theory of Hierarchical Memory (2026), Hsu et al., HORMA, Organize then Retrieve (2026)
私たちの仮説
以下は私たち自身の推論であり、発表された研究結果ではありません。確信度は今日の時点でどれだけ信じているかを示すもので、今後変わります。
H1
データ需要の一部は、階層がないことから生じている
データの構造（階層、出典、依存関係）をモデルに与えれば、それを組み立て直すのに必要な例は少なくて済むはずです。
確信度55 %
- 支持
- 出典ラベルは記憶容量を増やし、順序づけたウォームアップは学習を速めます。
- 反論
- 順序による効果は小さく、規模に左右されます。非常に大きなモデルは自力で構造を組み立て直しているようです。
出典： Allen-Zhu & Li, Physics of Language Models 3.3 (2024), Zhang et al., Beyond Random Sampling (EACL 2026)
H2
上の層は学び、下の層は参照する
パラメータは貴重（1つあたり約2ビット）なので、原理と推論の仕方のために取っておくべきです。事実や細部は、段に分けて整理した外部メモリに置きます。
確信度70 %
- 支持
- RETROとメモリ層は、品質を落とさずに知識を外に出せることを示しています。
- 反論
- 原理と細部の境界はあいまいで、参照には応答時間がかかります。
出典： Borgeaud et al., RETRO (DeepMind, 2021), Berges et al., Memory Layers at Scale (Meta, 2024)
H3
規則＋例外＝圧縮
物理学者が法則とその反例を覚えておくように、規則と、規則から外れるデータだけを残します。残りは推論で導けるはずです。
確信度35 %
- 支持
- データをうまく選べば、学習曲線の形そのものが変わりえます。情報理論でいう「最小記述長」の考え方です。
- 反論
- 言語は例外だらけで、信頼できる規則を取り出すには、すでに非常に有能なモデルが必要です。
出典： Sorscher et al., Beyond neural scaling laws (NeurIPS 2022)
H4
例外こそが錨になる
各世代のモデルが前の世代の圧縮した知識から学ぶループでは、珍しい生データを残しておくことで漂流を防げるはずです。
確信度65 %
- 支持
- 崩壊はまず珍しいケースを襲います。本物のデータを残せば崩壊は避けられます。
- 反論
- このような階層的なループを大規模に試した人はまだいません。
出典： Shumailov et al., AI models collapse… (Nature, 2024), Gerstgrasser et al., Is Model Collapse Inevitable? (2024)
H5
木ではなくグラフ
現実の知識は網の目です。同じ考えが複数の系統に属します。役に立つ階層とは、交差し合う複数の木でできたものでしょう。
確信度60 %
- 支持
- GraphRAGはグラフから出発し、RAPTORは一つの断片が複数のグループに属することを認めています。
- 反論
- 構造が豊かになるほど、構築と維持のコストが増えます。
出典： Edge et al., GraphRAG (Microsoft, 2024), Sarthi et al., RAPTOR (ICLR 2024)
暫定的な結論
現時点での私たちの考えです。大事なのは「暫定」という言葉です。
参照の面では、階層はすでに有効性を示した
外部データベース、要約の木、コミュニティのグラフ。いずれも効果が測定され、再現されています。この問いのなかで最も成熟した側面です。
出典： Borgeaud et al., RETRO (DeepMind, 2021), Sarthi et al., RAPTOR (ICLR 2024), Edge et al., GraphRAG (Microsoft, 2024)
学習の面では、ここが最前線
データを並べ替える効果は小さく、うまく選ぶ効果のほうがはるかに大きい。明示的な階層でモデルを学習させる試みはほとんど手つかずで、発見の余地が最も大きいのはここです。
出典： Zhang et al., Beyond Random Sampling (EACL 2026), Elgaar & Amiri, Curriculum Learning for LLM Pretraining (2026), Gunasekar et al., Textbooks Are All You Need (2023)
最も有力な道は、選ぶことではなく分けること
原理は重みに、細部はメモリに。これが仮説H2であり、最も多くの手がかりが指し示している方向です。
歴史は慎重さを求める
1984年に始まったCycプロジェクトのように、人の手で書かれた階層は規模を拡大できませんでした。リチャード・サットンの「苦い教訓」によれば、最後に勝つのは自ら学ぶ仕組みです。だから階層は押しつけるのではなく、学習させてから見える形にするべきです。
出典： Richard Sutton, The Bitter Lesson (2019), Cyc (Wikipedia)
図3 — 提案する役割分担
モデルの中
- 原理
- 推論の仕方
- 世界の文法
メモリの中
- 日付つきの事実
- 例外
- 生の出典
未解決の問い
- 完成した階層を与えた場合、モデルに必要なデータはどれくらいか？
- 鶏が先か卵が先かの問題に陥らずに、誰が階層をつくるのか？
- 原理（モデルの中）と細部（メモリの中）の境界はどこにあるのか？
- 同じコーパスに何回質問すれば、索引づくりのコストは元が取れるのか？
- 機械が学んだ階層は、人間にとって読めるものであり続けられるか？
次の手がかり
- 小さな実験：階層ラベル（観察、事実、規則）付きと、なしの2つのミニモデルを学習させ、それぞれが何を覚えるかを比べる。
- 2026年に発表されたエージェント向け階層型メモリと、その共通の理論的枠組みを精読する。
- エネルギーを数値化する：メモリ参照のコストを、重みに蓄えた知識と比べてどれくらいかを調べる。
ノートの記録
- 第II部に3つの深掘りを追加：順番に学ぶ、賢く捨てる、概念で考える。新しい出典：OLMo 2、FineWeb、SemDeDup、Byte Latent Transformer、H-Net。
- ノートを開設。最初の探索：学ぶための階層と参照するための階層、仮説5つ、暫定的な結論4つ。
出典
- Allen-Zhu & Li, Physics of Language Models 3.3 (2024)
- Gunasekar et al., Textbooks Are All You Need (2023)
- Zhang et al., Beyond Random Sampling (EACL 2026)
- Elgaar & Amiri, Curriculum Learning for LLM Pretraining (2026)
- Sorscher et al., Beyond neural scaling laws (NeurIPS 2022)
- Meta, Large Concept Models (2024)
- Shumailov et al., AI models collapse… (Nature, 2024)
- Gerstgrasser et al., Is Model Collapse Inevitable? (2024)
- Borgeaud et al., RETRO (DeepMind, 2021)
- Sarthi et al., RAPTOR (ICLR 2024)
- Edge et al., GraphRAG (Microsoft, 2024)
- Berges et al., Memory Layers at Scale (Meta, 2024)
- Talebirad et al., Toward a Theory of Hierarchical Memory (2026)
- Hsu et al., HORMA, Organize then Retrieve (2026)
- Richard Sutton, The Bitter Lesson (2019)
- Cyc (Wikipedia)