有望
FrugalGPT：GPT-4の品質をわずかな費用で
自らのテストで、学習したカスケードは最大98%安い費用でGPT-4に並び、あるいは同じ費用でGPT-4の正答率を4ポイント上回りました。研究の出発点は、モデルごとの料金が最大で2桁も違うという観察です。
深掘り · 第IV章
まず小さなモデルに聞く
とげが刺さったくらいで外科医は呼びません。それなのに多くのAIサービスは、やさしい質問も難しい質問もすべて最大のモデルに送っています。カスケードは順番を変えます。いちばん安いモデルが先に試すのです。
考え方をひとことで
質問の難しさはまちまちです。「イタリアの首都は？」に、難しい証明と同じモデルは要りません。カスケードはモデルを安い順に並べ、答えが十分になった時点で止めます。
振り分け役は同じことを一度に行います。質問を読み、答える前に、どのモデルで足りるかを予測するのです。
どう動くのか
すべては、答えを受け入れてよいか決める審判しだいです。FrugalGPT（スタンフォード大学、2023年）では、答えが正しいかを見積もるよう学習した小さな採点モデルが審判を務めます。カスケードは、モデルの最適な順番と、段ごとのしきい値を学びます。
審判は次の段よりずっと安くなければなりません。そうでないと、節約したかった分を失います。また、失敗した試みにも費用がかかります。いちばん上まで登った質問は、最初からそこへ行った場合より高くつきます。
出典： Chen, Zaharia & Zou, FrugalGPT (2023)
図G — モデルのはしご
- 大きなモデル× 20
- 中くらいのモデル× 5
- 小さなモデル× 1
質問：12345678
質問1つあたりの平均費用： 5.4 · すべて大きなモデルなら： 20 · −73 %
説明用の図です。考え方を示すもので、測定値ではありません。
数字が語ること
有望
RouteLLM：答える前に決める
人間の好み（Chatbot Arena）で学習した振り分け役が、質問ごとに強いモデルと弱いモデルのどちらかを選びます。MT Benchでは、カスケードの待ち時間なしに、GPT-4の品質の95%を3.66分の1の費用で保ちました。
確立
投機的デコード：1語ごとのカスケード
同じ考え方を最小の規模で使います。小さなモデルが次の語を提案し、大きなモデルは確かめるだけです。この場合、結果は大きなモデル単独とまったく同じになることが保証され、2〜3倍速くなります。検証の深掘りページも見てください。
出典： Leviathan, Kalman & Matias, Speculative Decoding (ICML 2023)
限界
審判は間違えることがあります。はしごの下で受け入れられた誤った答えは、二度と直されません。待ち時間：3段登る質問は3回答えを待ちます。また、答えを採用するかわからないうちは、1語ずつ表示することも難しくなります。ずれ：ある種の質問に合わせて調整した振り分け役は、利用者が違うことを聞き始めると、うまく合わなくなることがあります。
私たちの仮説にとっての意味
H6の二つ目の要因、つまり大きなモデルまで届く質問の割合です。そしてH2「上を学び、下を参照する」の直接の反響でもあります。カスケードはモデルの階層で、安いモデルで足りないときだけ高いモデルに頼るのです。
試してみたいこと
読者がOrigoTechについてしそうな質問を三段階（一つの記事にある事実、記事どうしのつながり、本当の推論）に分け、小さなモデルが単独で正しく答えられる割合を測りたいと思います。半分を超えるなら、私たちのようなサイトにとって実際に得があることになります。