厳密な順序
語彙の多様さで易しい順に並べると、平均精度が1.8%向上し、ステップ数は17.9%減りました。
深掘り · 第II章
順番に学ぶ
プルーストで文字を覚える人はいません。それなのにモデルは、すべてをランダムに混ぜて学習しています。易しい文章から難しい文章へと順に与えたらどうなるでしょうか。
考え方をひとことで
現在、何十億もの学習用テキストはランダムに混ぜられ、一度だけ読まれます。子ども向けの文章のすぐ後に、高度な数学の論文が来ることもあります。
2009年にヨシュア・ベンジオが提案したカリキュラム学習は、学校の直感から出発します。易しいものから始めて、少しずつ難しくしていく。これは時間の中の階層です。データは変えず、順番だけを変えます。
どうやるのか
必要なものは3つです。難しさの尺度：機械には何が「難しい」のかわからないので、計算できる指標が要ります。進め方：一気に難しいものへ移るか、ゆるやかに上がっていくか。タイミング：学習全体を並べるのか、最初の部分だけか。
ZhangらのEACL 2026の研究は、15の尺度を検討して6つに絞りました。最も役立ったのは、圧縮率（よく圧縮できる文章は繰り返しが多く、易しい）、語彙の多様さ（MTLD）、文章の長さです。モデルの「驚き」を表すパープレキシティは、最初は効果がありますが、やがて結果を下げてしまいます。「意外な」文章の多くは単なるノイズだからです。
出典： Zhang et al., Beyond Random Sampling (EACL 2026)
図A — 2本のベルトコンベア
ランダム
順序づけ
説明用の図です。考え方を示すもので、測定値ではありません。
実験からわかったこと
200回を超える学習を行いました。主に5億パラメータのモデルと100億トークンを使い、10億パラメータでも確認しています。
ゆるやかな上り坂
直線的に進めた場合、圧縮率の尺度は39.5%少ないステップで基準の最高水準に届きました。混ぜ合わせ型では41.7%まで伸びます。
ウォームアップしてから混ぜる
最初の部分だけを順序づけ、その後ランダムに戻すと、優位が長く続きます。5億パラメータで最大3.5%、10億パラメータで3.2%の向上です。
効いているのは順序そのもの
決め手となる対照実験です。同じ「易しい」データをランダムに混ぜても少しは効きますが、順番どおりに与えるほうが効果は大きい。つまり効果は選別だけから来ているのではありません。
反論
別の研究（1400万〜4億1000万パラメータのモデル、3000億トークン）では、順序は主に小さなモデルを安定させるものであり、規模が大きくなるほど利点は小さくなるとしています。
出典： Elgaar & Amiri, Curriculum Learning for LLM Pretraining (2026)
業界の「逆の順序」
研究所はしばしば学校のカリキュラムとは逆のことをします。最良のデータを最後に取っておくのです。OLMo 2（Ai2）は、計算量の最後の5〜10%を高品質なデータ（数学、科学、質疑応答）の学習に充てています。これはミッドトレーニングや「アニーリング」と呼ばれます。
ただし、この置き方にも議論があります。2025年の研究によれば、最後の最後が常に最適とは限りません。同じ研究は、数学の練習問題でのアニーリングが80億パラメータのLlama 3には効いたのに、4050億パラメータのものには効かなかった理由も説明しています。最適な順序は、データだけでなく学習のどの段階かにもよるのです。
出典： OLMo et al., 2 OLMo 2 Furious (Ai2, 2025), Predicting Training Re-evaluation Curves (2025)
限界
これらの結果は中規模のモデルで、しかも英語だけで得られたものです。難しさは学習前に一度だけ計算され、モデルがすでに知っていることには合わせて変わりません。効果は確かにありますが、数パーセントにとどまります。
私たちの仮説にとっての意味
これは仮説H1に対する控えめな支持です。データを構造化すると、とくに序盤で効果があります。しかしここで測られた「難しさ」は一つの次元（短いか長いか、単純か多様か）しかありません。私たちの考えはもっと豊かで、抽象度の段階（観察、事実、規則、原理）です。私たちの知る限り、この段階に沿って学習を並べた人はまだいません。
試してみたいこと
ミニモデルで正反対の2つのカリキュラムを比べます。先に例、後で規則（子どものように）と、先に規則、後で例（教科書のように）です。さらに、適応型のカリキュラムも試します。モデルがすでに知っていることを測り、次の一段を与えるのです。