曲線の形を変える
ふつう、データを増やしても誤差はゆっくりとしか下がりません（「べき乗則」）。Sorscherらは、良い間引きの尺度があれば、誤差が指数関数的に、つまりはるかに速く下がりうることを示しました。画像分野（CIFAR-10、ImageNet）で、ラベルさえ必要としない安価な尺度を使って検証されています。
出典： Sorscher et al., Beyond neural scaling laws (NeurIPS 2022)
深掘り · 第II章
賢く捨てる
図書館は本が多いほど良いわけではありません。重複した本、破れたページ、すでに暗記している本を取り除いてこそ良くなります。AIのデータでも同じことができるでしょうか。
考え方をひとことで
大規模なコーパスはウェブから集められています。繰り返しが多く、意味のないページや、ほとんど同じ文章もたくさんあります。役に立たない文章は一つひとつが計算とエネルギーを消費し、第I部で見たように、モデルの記憶容量も奪います。
間引くとは、何を残すかを選ぶことです。問うべきは「どれだけのデータか」ではなく、「どのデータか」です。
3つのふるい方
ノイズを取り除く：小さな分類器が各文章に点数（たとえば教育的価値）をつけ、上位だけを残します。意味の重複を取り除く：意味の近い文章同士が近くに並ぶ空間に各文章を置き、グループごとに代表を一つだけ残します。モデルがすでに知っていることを取り除く：まだ何かを教えてくれる例だけを残します。
すべては尺度しだいです。良い点数なら何も失わずに大量に捨てられますが、悪い点数だと宝物まで捨ててしまいます。
図B — ふるい
- 100 % コーパス全体
- 73 % ノイズを除去
- 46 % 重複を除去
有用 重複 ノイズ
説明用の図です。考え方を示すもので、測定値ではありません。
研究からわかったこと
易しい例か、難しい例か？ 場合による
微妙な結果です。データが少ないときは易しい例を残し、多いときは難しい例を残すほうがよい。言い換えれば、基礎ができてしまえば、最も多くを教えてくれるのは珍しくて難しいケースなのです。
出典： Sorscher et al., Beyond neural scaling laws (NeurIPS 2022)
意味の重複
SemDeDup（Meta）は、意味がほとんど同じ文章や画像を取り除きます。大規模な画像コーパスでは、データの50%を取り除いても性能はほとんど落ちず、学習時間は半分になりました。テキスト（C4）では効率が約15%向上しています。
「教育的価値」フィルター
FineWeb-Edu（Hugging Face）は、Llama 3 70Bの判定で学習させた小さなモデルを使い、各ウェブページの教育的価値を0〜5で採点します。残すのは3点以上だけで、15兆トークンのうち1.3兆トークンです。その結果、わずか380億トークンでMMLU 33.6%に達しました。最も強い競合は3000億トークンを必要としていました。
出典： Penedo et al., The FineWeb Datasets (Hugging Face, 2024)
限界
フィルターには、それを学習させた人の好みが反映されます。FineWeb-Eduのフィルターは学校的な話題や硬い文体をはっきり好みます。品質は上がりますが、多様性は失われます。非常に長い学習には十分な量の重複しない文章も必要で、厳しすぎるフィルターはやがてそれが足りなくなります。さらに、指数関数的な曲線をめぐる劇的な結果の多くは画像分野のもので、大規模なテキストではまだ示されていません。
出典： Penedo et al., The FineWeb Datasets (Hugging Face, 2024)
私たちの仮説にとっての意味
「少ないときは易しい例、多いときは難しい例」という結果は、H3とH4を直接支持します。規則を学んでしまえば、例外こそが金になるのです。良い間引きは、私たちの圧縮の考え方に似ています。規則と、規則から外れるものを残し、残りは捨てる。まだ足りないのは、貴重な例外と単なるノイズを見分けられる尺度です。どちらも「意外」に見えるからです。
試してみたいこと
小さなコーパスで3つのふるいを比べます。品質によるふるい、意味の重複によるふるい、そしてグループごとに典型的な例を一つ残し、さらにそこから外れるケースをすべて残す「規則＋例外」のふるいです。どれが珍しいケースを最もよく保てるかを確かめます。