確立
投機的デコード（2023年）
T5-XXLで、出力は同じまま2〜3倍速くなりました。モデルの再学習も変更も要りません。いまではAIサーバーの標準的な部品です。
出典： Leviathan, Kalman & Matias, Speculative Decoding (ICML 2023)
深掘り · 第IV章
確かめるほうが書くより安い
数独を解くには時間がかかりますが、埋まった盤を確かめるのは数秒です。多くの問題で、確かめるほうが見つけるよりずっと簡単です。AIはこの非対称性を、語と答え全体という二つの規模で使い始めています。
考え方をひとことで
言語モデルは1語ずつ書き、1語ごとにすべての重みを読まなければなりません。しかし、提案された何語かを確かめるのは1回の処理ででき、1語書くのとほぼ同じ速さです。そこで、小さく速いモデルが推測し、大きなモデルは確認するだけにします。
答え全体の規模でも同じ非対称性が成り立ちます。たくさん試し、検証役（テスト、証明の検査器、電卓）に正しいものを選ばせるのです。
どう動くのか
投機的デコード（Google、2023年）では、小さなモデルがいくつかの語を提案し、大きなモデルはそれぞれに自分ならどんな確率を与えたかを並行して計算します。巧みな受け入れ規則が正しい語を残し、最初の誤った語を引き直すので、文は大きなモデル単独の場合とまったく同じ分布に従います。
小さなモデルの推測が当たるほど、得は大きくなります。そのため後の研究は、大きなモデルの内部状態を使わせるなどして、推測の精度を上げることに力を注いでいます。
出典： Leviathan, Kalman & Matias, Speculative Decoding (ICML 2023)
図K — 下書きして、確かめる
猫がソファの上で走っている眠って
- 1. 小さなモデルが5語を下書き
- 2. 大きなモデルが1回でまとめて確認
- 3. 3語を残し、4語目を直す
4 語を、大きなモデルの1回の処理で書けた
説明用の図です。考え方を示すもので、測定値ではありません。
検証の二つの規模
確立
EAGLE-3（2025年）
下書き役は別のモデルではなく、大きなモデルの内部の層につないだ小さな頭部です。報告された高速化は最大6.5倍で、EAGLE-2より1.4倍よく、64件の要求をまとめて処理しても処理量は1.38倍になりました。
有望
Large Language Monkeys：何度も試し、確かめる（2024年）
250回試し、各プロジェクト自身のテストを検証役にすると、公開モデルが実際のGitHubの課題（SWE-bench Lite）の56%を解決しました。1回では15.9%で、当時の1回での最高記録（43%）も上回りました。安いモデルの5回分は高いモデルの1回分より安く、しかも多くを解きました。
限界
すべては検証役しだいです。テストのあるコードや数学の証明なら、検証は信頼できます。作文や助言には自動のテストがありません。多数決や採点モデルは数百回で頭打ちになり、完璧な検証役ならできることに遠く及びません。そして投機的デコードが速くするのは書くことで、考えることではありません。大きなモデルが賢くなるわけではないのです。
私たちの仮説にとっての意味
検証はH6のほかの手段を後押しします。カスケードには審判が、道具にはテストが要り、小さなモデルも誰かが仕事を確かめてくれるなら何度も試せます。私たちの階層の役割も見えてきます。ピラミッドの上の規則が、下の細部の検証役になれるかもしれません。
試してみたいこと
答えが数字や日付になるOrigoTechの記事についての質問で、小さなモデルに10回答えさせ、記事の本文そのもので確かめられた答えだけを残したいと思います。その正確さを、大きなモデルの1回の答えと比べます。