← ノートに戻る
深掘り · 第V章
モデルを翻訳して、必要なものだけを残せるか?
出発点の考え:もし翻訳機が、必要なものだけを残して、モデルを新しい言語で新しいハーネス向けに書き直したら? この考えには、難しさのまったく違う三つのことが混ざっています。何も失わずに翻訳すること、使わない部分を切ること、そしてネットワークを本物のコードに書き直すことです。それぞれで何が得られるか、二つ目がなぜ重ね合わせという現象にぶつかるのか、ハイブリッドな翻訳機でどれだけ節約できるか、そしてここで行った実験が何を示したかを見ていきます。
有望 更新日
ラテン語で書かれた千ページの料理本を思い浮かべてください。あなたはデザートだけを作りたい。腕のいい翻訳者なら、だんだん大胆になる三つのことができます。一つ目:何も削らずに、本全体を日本語に訳す。速く読めて、何も失われません。二つ目:デザートの章だけを訳す。本は薄くなりますが、あるデザートに「パート・ブリゼ、212ページ参照」とあったら、行き詰まります。三つ目:ルールに従うレシピを式に置きかえ(「小麦粉100gにつき卵1個」)、例外だけを文章で残す。
AIのモデルでも同じです。「言語」とはモデルが書かれている形式、ハーネスとはそれを動かすプログラム(ふつうのコンピュータで動くllama.cppのようなもの)、翻訳機とは、一方から他方へ移しながら最適化する道具です。
三つの段階は、難しさがまったく違います。一つ目はすでにどこにでもあり、二つ目は半分うまくいき、三つ目はおもちゃの上にしかありません。
私たちはネットワークをたんすのように思い描きます。化学の引き出し、文法の引き出し、足し算の引き出し。正しい引き出しだけを残せばよいはずです。けれども、実際はそうなっていません。
ネットワークのニューロンの数は、表したい概念の数より少ないのです。そこでネットワークは概念を重ね合わせます。一つのニューロンが何十もの概念に同時に関わり、一つの概念が何十ものニューロンに広がっています。合唱で混ざり合う声のようなものです。AnthropicのElhageらは、おもちゃのモデルでそれを示しました。概念がまれであれば、ネットワークは自分の次元の数よりはるかに多くの概念をしまい込みます。
翻訳機にとっての直接の結果はこうです。目的の課題には「いらない」重みが、その課題が表に出さずに頼っている別の能力の一部を担っているかもしれません。しかも、利用者が明日どんな質問をするかは、前もってわかりません。課題に合わせて切ることは、だから賭けです。質問が想定した道からはみ出さなければ大きく得をし、はみ出せば損をします。
出典: Elhage et al., Toy Models of Superposition (Anthropic, 2022)
すべて残すか、すべて切るかを選ぶかわりに、翻訳機は三つの山をつくります。ルールに従うもの(計算、日付、書式、単位の換算)はコードにします。正確で、ほぼ無料で、見たことのない例にも通用します。あいまいなもの(言葉、ニュアンス、常識)はネットワークのまま、課題向けに刈り込んだ専門家に残します。道からはみ出したものは、完全なモデルに送り返します。これが非常口です。
ここで、このノートの二つの考えが出会います。確かめられる分野での「ルール+例外=圧縮」というH3と、小さなモデルが迷ったら交代するカスケードです。翻訳機は新しい道筋ではなく、それらを組み立てる道具なのです。
H3 · ルール+例外=圧縮。ただし確かめられる分野で (48 %) H10 · 翻訳機はモデルを仕立て直せる (57 %)
三つの数を置きます。pは、コードに回せる質問の割合で、ここでは20%とします。sは、刈り込んだ専門家のコストで、完全なモデルに対する割合です。fは呼び戻しの割合、つまり専門家が迷って完全なモデルを呼び戻す質問の割合です。呼び戻すときは、両方の費用がかかります。
質問1つあたりの平均コストは (1 − p) ×(s + f)です。コスト50%の専門家で呼び戻しが10%なら、0.8 ×(0.5 + 0.1)= 0.48。コストは2.1分の1になります。段階1の、1.5倍速くするコンパイルを加えると、0.48 ÷ 1.5 = 0.32、つまり元のコストの3分の1です。
限界はどこでしょう。(1 − p) ×(s + f)が1に届くと、得は消えます。s = 0.5なら、すべてを失うには f = 1 ÷ 0.8 − 0.5 = 75% の呼び戻しが必要で、この仕組みは頑丈です。けれども半分にするには f ≤ 0.5 ÷ 0.8 − 0.5 = 12.5% でなければなりません。コスト30%の専門家なら余裕は32.5%に広がり、コスト70%の専門家では半分にすることは不可能です。図の教訓を覚えておいてください。いちばん大事なのは専門家の大きさではなく、自分のわからないことをわかっていることです。
図P — ハイブリッド翻訳機のコスト
コスト30%の専門家:呼び戻しが32.5%未満なら半分コスト50%の専門家:呼び戻しが12.5%未満なら半分コスト70%の専門家:半分にはならない
説明用の図です。考え方を示すもので、測定値ではありません。
これは計算で、測定ではありません。質問の20%はコードに回り、ほとんどコストがかかりません。残りの80%は、刈り込んだ専門家が受け持ちます。迷ったときは完全なモデルを呼び戻し、両方の費用がかかります。コスト=0.8 ×(専門家のコスト+呼び戻しの割合)。専門家は完璧でなくてかまいません。何より、自分がわからないときに、それがわかる必要があります。
「仮説を試す」のページで約束したとおり、新しい仮説はすべて輪に分けて加えます。これがH10です。翻訳機は、モデルを新しいハーネス向けに書き直し、課題に合わせて仕立てることで、その課題で目に見える損失なしに、コストを少なくとも半分にできる。
輪a、95%:損失のない翻訳とコンパイルは機能する。これは今日すでにそうです。輪b、65%:それを前提に、非常口つきで課題に合わせて切れば、目に見える損失なしにコストを少なくとも半分にできる。この輪は重ね合わせと呼び戻しの割合しだいです。計算:0.95 × 0.65 = 62%。
野心的な形には、輪c、20% が加わります。大きなモデルのかなりの部分を本物のコードに書き直せる、というものです。その値は 0.95 × 0.65 × 0.2 ≈ 12% にしかなりません。これは仮説ではなく、問いとして残しておきます。
H10 · 翻訳機はモデルを仕立て直せる (57 %)
私たちにはグラフィックカードがなく、プロセッサのコアが二つあるだけです。そこで実験は小さな規模で、けれども本当に行いました。80万パラメータの小さなトランスフォーマーを、二つの課題を混ぜてここで学習させました。A、ルール:2桁の足し算で、20%はテスト用に取っておきます。B、例外のある語彙:つくった600語の複数形で、80%は規則的(+s)、20%は不規則で丸暗記が必要です。さらに、一度も見せていない新しい語を150語用意しました。
そのうえで三つの段階です。段階1:別に書いたNumPyのハーネスが重みを読み込み、32ビット、次に8ビットで動かします。段階2:課題Aだけで調整したWandaの刈り込みで、重みの25〜90%をゼロにし、そのあとニューロンを丸ごと取り除きます。段階3:モデルのふるまいから、それぞれの課題を再現する単純なプログラムを探します。プログラムで説明できない部分は、例外の表になります。
私たちの予測は、まちがいを指摘してもらえるよう、最初の実行の前にリポジトリに記録しました。主なものはこうです。NumPyのハーネスは少なくとも99.9%同じ答えを出す。50%刈り込んでも、足し算は精度の95%以上を保つ。70%を超えると、語彙は足し算より大きく傷つく。プログラム「a + b」は、モデルの答えの少なくとも99%を再現する。ルール「+s」は80% ± 5を再現する。そして見たことのない3桁の足し算では、モデルはほぼいつも失敗し、コードはすべて正解する。
H10 · 翻訳機はモデルを仕立て直せる (57 %)
モデル(805,929パラメータ)は、2コアで20分かけて学習しました。出発点では、見たことのない足し算で100%、覚えた600語で100%、ところが新しい150語では83.3%にとどまりました。「s」を付けるだけでよかったのに、です。ネットワークはルールをつかんだものの、完全ではありませんでした。そして3桁の足し算では0%。足し算を一般的に理解したのではなく、見た足し算だけを覚えていたのです。
確立
段階1 · 翻訳:成り立つが、速くはならない
別に書いたNumPyのハーネスは、100%同じ答えを出しました。8ビットでは99.96%の答えが同じままで、精度は0.1ポイントも動かず、サイズは3.7分の1(3.2MB → 0.87MB)になりました。ただし、最適化していない単純なハーネスは、PyTorchより7.7倍遅いのです。翻訳すれば魔法のように速くなるわけではありません。速さはコンパイラの仕事から生まれます。
有望
段階2 · 刈り込み:外れた予測が一つ、はっきりした教訓が一つ
足し算を基準に重みの50%を取り除くと、足し算は93.5%を保ちました。予測は95%以上だったので、わずかに外れです。60%では足し算が71.9%、語彙が45.2%に、70%では18.2%対3.0%に下がりました。足し算には不要に見えたものが、語彙を支えていたのです。予測どおりです。語彙を基準にすると逆になり、70%で語彙は39.5%を保つ一方、足し算は5.5%に落ちます。足し算を基準に選んだMLP層のニューロンを半分取り除くと、足し算は95.9%を保ち、語彙は22ポイント失いました。
有望
段階3 · 逆コンパイル:驚き
プログラム「a + b」は、モデルの1万個の答えの99.99%を再現しました(違いは一つだけ)。ルール「+s」は80.17%を再現し、例外の表は119語になりました。不規則な120語のうち119語で、残る1語は偶然「s」で終わっていました。ハイブリッドのモデルはどこでも100%で、ネットワークが失敗したところでもそうです。新しい語で100%(ネットワークは83.3%)、3桁の足し算で100%(同0%)。この二つの課題については、2行のコードと1,071バイトの表が、3.2MBのモデルの代わりになります。
八つの予測のうち七つが当たりました。外れた一つは刈り込みに関するもので、差は1.5ポイントでした。疑いの場所が変わりました。刈り込みだけでは期待外れです。課題がはっきり分かれた小さなモデルでさえ、重みの半分を取り除くとすでに数ポイントを失い、専門家の利点が現れるのは、目的の課題そのものも崩れる割合になってからです。これが、測定された重ね合わせです。
逆に、ルールの取り出しは驚きでした。コードはネットワークをまねるだけでなく、ネットワークがうまく一般化できなかったところで、それを上回ったのです。ネットワークはルールをだいたい覚えますが、いったん書き出されたルールは、どこでも通用します。これが、ハイブリッド翻訳機を支持するいちばん強い根拠です。
H10を動かすべきでしょうか。私たち自身のルールでは、数値は輪が変わったときにだけ変えます。そして80万パラメータのおもちゃのモデルは、80億パラメータのモデルについてほとんど何も語りません。H10は62%のままにし、手がかりの向きだけを記録します。輪bのなかで、「切る」道の重みは軽くなり、「コードに変える」道の重みは重くなりました。次の一歩は、本物の小さな言語モデルで、混ざった質問を使って同じ実験をすることです。
H10 · 翻訳機はモデルを仕立て直せる (57 %)
おもちゃでは足りませんでした。そこで、モデルをダウンロードできる個人のコンピュータで、1億3500万パラメータの本物の言語モデルSmolLM2-135Mを使って実験をやり直しました。分野は三つ。Pythonのコード、散文(WikiText-2)、そして三つの例のあとに出す2桁の足し算200問です。予測は七つで、実行の前にリポジトリに記録しました。計算には6分かかりました。
出発点では、モデルはコードをよく予測し(パープレキシティ5.1。平均して五つの語のあいだで迷う程度)、散文はそれほどでもなく(20.5)、足し算は14%しか正解できません。一方、コードは100%正解します。
出典: Frantar & Alistarh, SparseGPT: Massive Language Models Can Be Accurately Pruned in One-Shot (ICML 2023), Sun et al., A Simple and Effective Pruning Approach for Large Language Models (Wanda, ICLR 2024)
確立
8ビットへの翻訳:ほぼ損失なし、それでも予測が一つ外れた
パープレキシティの変化は、コードで0.4%、散文で0.5%です。サイズは538MBから220MBになりました(2.45分の1。語彙は32ビットのまま)。ところが、足し算の答えが同じままだったのは85.5%だけで、予測は95%以上でした。モデルが迷う質問では、ごく小さな丸めだけで答えが変わってしまうのです。
有望
刈り込み:専門家はいるが、高くつく
コードを基準に50%刈り込むと、コードのパープレキシティは56%上がり(予測は20%以上)、散文のパープレキシティは2.6倍になり、足し算は0%に落ちました。ある分野で調整すると、その分野はよく守られます。コードは、コード基準で刈り込んだほう(7.9)が散文基準(10.3)よりよく、散文は散文基準(44)のほうがコード基準(52)よりよい結果でした。けれども「散文で調整すると、コードがいちばん傷つく」という予測は、50%と60%で外れました。散文はとても幅広い分野なので、散文の専門家は結局ジェネラリストのままなのです。
有望
わからないときにわかるか:信号はあるが、余裕はない
50%刈り込んだ専門家を、コードで完全なモデルの損失の5%以内に戻すには、専門家の迷いを頼りにすると、文章の断片の76.6%で完全なモデルを呼び戻す必要があります。でたらめに選ぶと83.3%、完璧な羅針盤なら73.4%です。つまり迷いは良い道しるべで、完璧な羅針盤にほぼ並びます。それでも4回に3回は呼び戻さなければならず、私たちの予測は最大60%でした。
七つの予測のうち四つが当たりました。外れた三つは同じことを物語っています。小さなモデルには余裕がないのです。丸めると迷い、刈り込むとあらゆるところが傷つき、自分が迷っているとわかる専門家でさえ、ほとんどいつも交代しなければなりません。
本当の数字で図Pを計算し直してみましょう。コスト50%の専門家が77%の割合で完全なモデルを呼び戻すと、コストは 0.8 ×(0.5 + 0.77)≈ 1.01。何もしないより高くつきます。この大きさでは、「切る」道は何ももたらしません。一方、「コードに変える」道は成り立ちます。足し算は14%から100%になりました。
今回は、私たちのルールどおり輪が動きます。輪bは65%から55%に、H10は62%から 0.95 × 0.55 ≈ 52% に下がります。これ以上は下げません。大きなモデルは小さなモデルよりはるかにうまく刈り込めることを、SparseGPTとWandaが示しているからです。そこで決定的な問いはこうなります。刈り込んだ専門家がコスト以上の得をもたらすのは、どの大きさからか。それが第3ラウンドです。
H10 · 翻訳機はモデルを仕立て直せる (57 %)
7つのうち6つの予測が当たりました。外れたのは最大モデルの呼び戻し率に関するもので、差は 2.5 ポイントです。ひとつ補足すると、「どの割合でも迷いはランダムに勝つ」という予測は、25 % では呼び戻しが不要なので問題になりません。
慎重に傾向を延ばしてみます。点は3つしかありません。50 % での呼び戻し率は、モデルが10倍になるごとに約13ポイント下がります。80億のモデルなら呼び戻しは約 53 %、理想コストは 0.83 になります。コストを半分にする 12.5 % まで下げるには、10兆パラメータ規模のモデルが必要です。結論として、50 % では、枝刈りだけで 5 % の許容範囲内のままコストを半分にすることはありません。
よい道は別の形で見えてきます。穏やかに枝刈りし(25 %、呼び戻しなし、コスト 0.6)、コンパイルし(× 1.5:0.6 ÷ 1.5 = 0.4)、規則に従う部分はコードに置き換える。計算上はコストが 2.5 分の1になります。大きな注意点があります。今のチップが本当に高速化できる唯一の枝刈りパターン、4つのうち2つをゼロにする形は、まさにコストの高い 50 % に当たります。25 % の枝刈りは、チップがそれを活かせるときにしか得になりません。
そこで環 b は 55 % から 60 % に上がり、H10 は 52 % から 0.95 × 0.60 = 57 % になります。次の問いは「どのサイズから?」ではなく、「どのチップなら 25 % の枝刈りで本当に速くなるのか?」です。
H10 · 翻訳機はモデルを仕立て直せる (57 %)
XIV第4ラウンド:ニューロンを丸ごと切り、ストップウォッチで測る
第3ラウンドのコスト 0.6 は「理想」の値でした。ゼロにした重みをチップが活かせると仮定していたからです。しかし、同じ大きさの行列に散らばったゼロは、ほかの数と同じように計算されてしまいます。今回は、各モデルの MLP ブロックからニューロンを丸ごと 12.5 %、25 %、50 % 取り除きました。行列は本当に小さくなるので、どのチップでも効きます。そして結果を計算で出すのではなく、Mac のグラフィックチップで実際に時間を測りました。予測は9つで、実行前に記録しました。
対照実験で出発点を確かめました。25 % のゼロを散らしても、3つのサイズすべてで、かかる時間は完全なモデルと 0.4 % の差でまったく同じです。このチップでは、ゼロは何の得にもなりません。
出典: Ma et al., LLM-Pruner: On the Structural Pruning of Large Language Models (NeurIPS 2023), Xia et al., Sheared LLaMA: Accelerating Language Model Pre-training via Structured Pruning (ICLR 2024)
確立
短くなった時間は、取り除いた重みにほぼぴったり比例する
ニューロンを丸ごと取り除くと、本当に速くなります。17億のモデルでは、MLP ニューロンを 12.5、25、50 % 取り除くと、読み込み時間は完全なモデルの 0.91 倍、0.84 倍、0.69 倍に下がります。このとき残る重みは 91、82、65 % で、時間はほぼぴったりサイズに比例します。小さなモデルは、全体に占める MLP ブロックの割合が小さいので、得はやや少なくなります。1語ずつの生成も、読み込みと同じだけ速くなります。
確立
ただし、丸ごと切るほうが傷は深い
25 % では、コードのパープレキシティが 1.16 倍、1.12 倍、1.10 倍になり(散らしたゼロでは 1.02〜1.03 倍)、文章は2倍を超えます。すると、コードの抜粋の 35 %、33 %、29 % で完全なモデルを呼び戻す必要があります(ランダムなら 46、44、42 %)。呼び戻しを含めると、実測コストは 1.25、1.20、1.13 で、何も切らないより高くつきます。50 % ではさらに悪く、呼び戻しは約 80 %、コストは 1.5 近くになります。
有望
12.5 %:呼び戻しなしで、初めて本物の時間短縮
穏やかに切ると、3つのサイズすべてで、専門家は呼び戻しを一度もせずにコードで完全なモデルとの差を 5 % 以内に保ちます。得は小さいものの、実測です。時間は 5 %、6 %、9 % 短くなりました(コスト 0.95、0.94、0.91)。17億のモデルは足し算で 98 % 正解し、完全なモデルの 95 % を上回りました。一方、文章はすでに大きく悪化しています(パープレキシティ 1.4〜1.5 倍)。切り方はたしかにコードの通り道に沿っていました。文章で調整していたら失敗でした。25 % では、コードのパープレキシティが 1.1 倍ではなく2倍を超えていたはずです。
9つのうち7つの予測が当たりました。外れた1つめがいちばん面白いものです。呼び戻しを含めれば、どの切り方でも本物の時間は短くならない、と賭けていました。これは間違いでした。12.5 % では専門家のほうが速く、呼び戻しも要りません。もう1つは千分の一の差です。25 % で最大モデルのコードのパープレキシティは 1.099 倍で、予測は 1.10 倍超でした。3つめはぎりぎり当たりましたが、理由は予想と違いました。小さなモデルでは生成のほうが読み込みより得が少ないと考えていましたが、どちらも同じだけ速くなりました。
教訓はひとつの簡単な規則にまとまります。このチップでは、短くなる時間は、取り除いた重みの割合とほぼ同じです。 したがってコストを半分にするには、モデルの半分を取り除き、しかも完全なモデルをほとんど呼び戻さないことが必要です。再学習なしでは、まだ遠い話です。50 % では、10個の抜粋のうち8個で呼び戻しが必要になります。
次の手がかりはよく知られています。切ったあとで短く再学習すると、傷の多くが直ります。LLM-Pruner は軽い方法で数時間のうちにそれを行い、Sheared-LLaMA はこの方法で、完全な学習のごく一部のコストで優れた小型モデルを作っています。もしこの再学習で 25 % カットの呼び戻しをゼロ近くまで減らせれば、実測の短縮は 9 % から約 16 % になります。
事前に書いた規則はこうでした。実測コストが 0.9 を下回れば環 b を上げ、S9 が当たれば下げる。最良のコストは 0.91 で、S9 は外れました。そこで環 b は 60 % のまま、H10 も 57 % のままです。それでも、コストはもう計算だけの値ではありません。初めて、ストップウォッチで測った値になりました。
H10 · 翻訳機はモデルを仕立て直せる (57 %)
第4ラウンドでは、MLP ニューロンの 25 % を取り除くと実際の時間が 10〜16 % 短くなりましたが、専門家は抜粋の3分の1で完全なモデルを呼び戻す必要があり、得は消えていました。今回は切ったあと、専門家に短い補習を受けさせます。完全なモデルが先生役、切ったモデルが生徒役となり、生徒はコードについて先生と同じ確率を出せるように学びます。これが蒸留です。学習用のコードは評価とは別のファイルから取り、生徒が答えを丸暗記できないようにしました。
直し方は2通り試しました。1つめは、切った MLP ブロックの重みを直接学習し直す方法です。2つめの LoRA は、その重みを固定したまま、横に足した小さな行列だけを学習させ、最後に重みへ合流させます。教科書の余白に貼る付箋のようなものです。これで、17億のモデルとその先生が Mac の 24 GB に収まります。予測は11個で、実行前に記録しました。全体で約1時間半かかりました。
出典: Hinton, Vinyals & Dean, Distilling the Knowledge in a Neural Network (2015), Hu et al., LoRA: Low-Rank Adaptation of Large Language Models (ICLR 2022), Ma et al., LLM-Pruner: On the Structural Pruning of Large Language Models (NeurIPS 2023)
確立
直すと呼び戻しは大きく減るが、なくなりはしない
25 % 切った段階では、直す前に、コードの抜粋の 35 %、33 %、29 % で完全なモデルを呼び戻す必要があります(135M、360M、1.7B)。第4ラウンドの数字がそのまま再現されました。直したあとは、直接学習し直した 135M で 6 %、360M で 15 %、LoRA で直した 1.7B で 23 % に減りました。呼び戻しを含めた実測コストは 0.93、1.03、1.06 です。小さなモデルは元が取れるようになり、時間が 7 % 短くなりました。ほかの2つは 1 に迫りますが、下回りません。50 % 切った場合は直しても足りず、3分の2の呼び戻しが残ります。
有望
重みを学習し直すほうが LoRA よりよく直る
同じ 1億3500万のモデルで同じステップ数なら、直接の修理で呼び戻しは 6 %、LoRA では 15 % でした。LoRA の「付箋」は調整できる数が 250 万個しかなく、直接の修理の数千万個に比べると直す力が弱いのです。17億のモデルはメモリと時間の都合で LoRA だけ、それも半分のステップ数でした。そのため結果(23 %)は下限であって、上限ではありません。修理には 19 分かかりました。
有望
驚き:文章もよくなる
コードで学習し直せば文章はさらに悪くなる、と予測していました。結果は逆で、3つのサイズすべてで、直したあと文章のパープレキシティが少し下がりました(たとえば 135M で 2.59 倍 → 2.38 倍)。理由は蒸留にあります。生徒はコードの正解だけを学ぶのではなく、先生の確率分布全体、つまり文章の続きを予測する先生の一般的なやり方の一部を学ぶのです。
11個のうち6個の予測が当たりました。これまでで最も当たらなかったラウンドです。修理で呼び戻しを 10 % 未満にし、実際の時間を少なくとも 10 % 短くできると賭けていましたが、道半ばで止まりました。方向は正しいものの、効果は想像より弱いものでした。
最もよい結果は最小のモデルから出ました。25 % 切って直すとコストは 0.93 で、直さずに 12.5 % だけ穏やかに切った場合(0.95)より優れています。丸ごと切ってから直すことで、呼び戻しを含めても本物の時間を短縮できたのは初めてです。得はまだ小さく、補習の費用も一度は払う必要があります。小さなモデルなら数分、17億なら20分ほどです。
事前に書いた規則はこうでした。コストが 0.9 を下回れば環 b を上げ、直したあともすべてのサイズで呼び戻しが 20 % を超えれば下げる。どちらにもなりませんでした。環 b は 60 %、H10 は 57 % のままです。次の問いははっきりしています。修理をもっと長くするか、17億のモデルを直接学習し直せば、呼び戻しは 10 % を下回るのか。それには Mac より大きなマシンが必要です。
H10 · 翻訳機はモデルを仕立て直せる (57 %)
第5ラウンドの修理を止めたとき、呼び戻しはまだ減り続けていました。足りなかったのは時間だけだったのでしょうか。同じ 25 % のカットのまま、途中で確認しながら長く直しました。3億6000万のモデル(直接の再学習)は 300、600、1200 ステップ後、17億のモデル(LoRA)は 150、300、600 ステップ後に確認します。学習率は短い立ち上がりのあと一定にして、同じ実行の中の確認どうしを比べられるようにしました。予測は7つで、実行前に記録しました。Mac で全体に2時間半かかりました。
出典: Hinton, Vinyals & Dean, Distilling the Knowledge in a Neural Network (2015), Hu et al., LoRA: Low-Rank Adaptation of Large Language Models (ICLR 2022)
確立
3億6000万:1200 ステップ後には呼び戻しゼロ
呼び戻しは、修理前の 33 % から、300 ステップ後に 10 %、600 ステップ後に 4 %、1200 ステップ後に 0 % になりました。48 個のコード抜粋のどれでも、切った専門家は完全なモデルとの差を 5 % 以内に保ちます。コードのパープレキシティは 1.07 倍にとどまり(修理前は 1.12 倍)、文章はさらによくなり(2.44 倍 → 2.14 倍)、足し算も少し上がりました(55 → 60 %)。この間、生徒が学習用コードを見たのは1回を少し超える程度で、丸暗記する時間はありませんでした。
有望
17億と LoRA:減り方が鈍る
呼び戻しは 150、300、600 ステップ後に 29 % から 23 %、21 %、19 % へと下がりました。時間を2倍にしても、もう約2ポイントしか減りません。第5ラウンドと同じく、LoRA は直接の再学習ほど直せず、小さな行列は頭打ちのようです。実測コストは 1.05 まで下がりましたが、1 は下回りません。17億のモデルには直接の再学習が必要ですが、Mac のメモリには重すぎます。
推測
今回はストップウォッチの信頼性が低い
呼び戻しがなければ、専門家のコストは速さだけで決まります。今回、3億6000万のモデルで測った値は 0.97 でした。しかしこの長い実行の間に、完全なモデル自体が最初と最後で 10 % 速くなっていました(1バッチ 0.68 秒 → 0.61 秒)。第4・第5ラウンドでは、この差は 1 % 未満でした。その2つのラウンドでは、同じ切ったモデルの速さは 0.87〜0.88 でした。事前に書いた規則は、その実行で測った値を使うので、それに従います。本当のコストはおそらく 0.88 に近く、次のラウンドで同じモデルを測り直します。
7つのうち5つの予測が当たりました。外れた2つは、3億6000万のコスト(予測は 0.95 未満、実測は 0.97)と、17億の呼び戻し(予測は 15 % 以下、実際は 19 %)です。
いちばんの教訓は、3億6000万のモデルでは足りなかったのは時間だけだったことです。25 % 切って1時間直すと、コードでは二度と完全なモデルを呼ばない専門家ができます。このモデルについては呼び戻しの問題は解決し、残るのは切ったことによる速さだけです。第4・第5ラウンドでは、それは 12〜13 % の時間短縮でした。
事前に書いた規則はこうでした。実測コストが 0.9 を下回れば環 b を上げ、両方のサイズで呼び戻しが 20 % を超えれば下げる。どちらでもありません。環 b は 60 %、H10 は 57 % のままです。残る疑問は、もう呼び戻しではなく、ストップウォッチのほうです。
H10 · 翻訳機はモデルを仕立て直せる (57 %)
第5ラウンドでは、蒸留による修理がコードだけを対象にしていたのに、文章までよくなりました。私たちの説明はこうでした。生徒は正解だけでなく、先生の迷いをすべて学ぶ。これを試すため、ある会話から生まれたアイデアを使いました。まったく同じ生徒を2人、つまり 25 % 切った同じモデルを2つ用意し、同じ先生に預けて、同じ文章を同じ順番で、同じ時間だけ学ばせるのです。
変えるのは教え方だけです。「ニュアンス」の生徒は、先生の確率分布全体を学びます。「return が 70 %、yield が 20 %…」といった具合です。「答え」の生徒は、先生がいちばん選びそうな語だけを学びます。模範解答だけを渡されるようなものです。サイズは2つ(1億3500万と3億6000万)、予測は6つで、実行前に記録しました。Mac で1時間弱かかりました。
出典: Hinton, Vinyals & Dean, Distilling the Knowledge in a Neural Network (2015)
確立
「ニュアンス」の生徒は第5ラウンドを数字どおり再現
第5ラウンドとまったく同じ設定で学び、呼び戻しもまったく同じでした。135M で 6.2 %、360M で 14.6 % です。測定は日をまたいでも再現できます。文章も当時と同じようによくなりました(135M で 2.59 倍 → 2.38 倍、360M で 2.44 倍 → 2.29 倍)。
確立
「答え」の生徒は授業前より悪くなった
伸びが小さいだけではなく、後退しました。呼び戻しは 35 % から 73 %(135M)、33 % から 77 %(360M)に増え、コードのパープレキシティは授業前の 1.12〜1.16 倍に対して 1.5〜1.6 倍になり、文章も悪くなりました。それでも、求められたことは学んでいます。先生が選びそうな語を当てる回数はどんどん増えました。ところが、先生の確率とのずれは授業の間に縮まるどころか広がったのです。
有望
理由:自信を持ちすぎるようになる
先生が2つの語で迷っているとき、「答え」の生徒は1つめの語にすべてを賭けることを覚えます。自信過剰になるのです。実際の文章で2つめの語が正しかった場合、そのたびに大きな罰を受けます。一方「ニュアンス」の生徒は、先生が迷うところで迷うことを学びます。これが 2015 年に Hinton らが述べた「隠れた知識」です。先生がありうると考える誤答は、正解とほとんど同じくらい多くを教えてくれます。
6つの予測すべてが当たりました。このノートでは初めてです。第5ラウンドの説明は、予想以上にはっきりと試験に合格しました。先生のニュアンスを写すことが修理になり、答えだけを写すと傷つけるのです。
ストップウォッチにはよい知らせがあります。今回は安定していました(完全なモデルの時間は最初と最後で 1 % 以内)。25 % 切った3億6000万のモデルは、第4・第5ラウンドと同じく、完全なモデルの 0.87 の時間で動きます。したがって、第6ラウンドで 1200 ステップ直して呼び戻しが不要になった専門家のコストは、約 0.87 になるはずです。
この値は、環 b を上げる 0.9 という基準を下回ります。しかし2つのラウンドを組み合わせた数字であり、私たちの規則は1回の実行の中で測った値についてのものです。そこで、環 b は 60 %、H10 は 57 % のままとします。1200 ステップの修理と安定したストップウォッチを1回の実行でそろえ、予測を事前に書いた確認の実行を待ちます。
H10 · 翻訳機はモデルを仕立て直せる (57 %)
第6・第7ラウンドを合わせると、完全なモデルを一度も呼び戻さず、その 0.87 の時間で動く専門家がいることになります。しかし私たちの規則では、すべてを1回の実行の中で測る必要があります。そこで、25 % 切った3億6000万のモデルを 1200 ステップ直す修理をやり直し、交互に時間を測りました。完全なモデル、専門家、完全なモデル、専門家…と、全部で7回です。途中でマシンが速くなったり遅くなったりしても、両方のモデルに同じように影響します。予測は5つで、実行前に記録しました。
確立
またしても呼び戻しゼロ
600 ステップ後には抜粋の 4.2 % で完全なモデルの呼び戻しが必要で、1200 ステップ後にはゼロでした。コードのパープレキシティは 1.065 倍にとどまり、文章はさらによくなり、足し算は 60 % まで戻りました。第6ラウンドの数字がほぼそのまま再現されました。
確立
ようやく信頼できるストップウォッチ
完全なモデルの4回の測定値の差は最大 1.7 % で、第6ラウンドの 10 % とは大違いです。専門家の時間は完全なモデルの 0.88 で、この比は回ごとにほとんど変わりません(0.882、0.884、0.882)。MLP ニューロンの4分の1を取り除くと、実際の時間が 12 % 短くなります。
確立
0.9 を下回る実測コスト
呼び戻しがまったくないので、実測コストはこの比そのもの、0.88 です。1回の実行の中で、安定したストップウォッチを使い、切ってから直した専門家が完全なモデルより速く、しかもどのコード抜粋でも差が 5 % を超えなかったのは、これが初めてです。
5つの予測すべてが当たりました。事前に書いた規則はこうでした。ストップウォッチが安定し、コストが 0.9 を下回れば、環 b を 60 % から 65 % に上げる。そのとおりになったので、H10 は 57 % から 0.95 × 0.65 ≈ 62 % に上がります。
大げさに言わずにまとめると、こうなります。普通のコンピューターのチップでも、1時間直すだけで、25 % 切ったモデルを、目立った劣化なく 12 % 速いコードの専門家に変えられます。H10 が掲げる「コスト半減」にはまだ遠く、残りは別の手段(もっと深く切ってよりよく直す、コンパイルする、規則に従う部分をコードにする)から得る必要があります。それでも「切ってから直す」道は機能し、今では実測されています。
H10 · 翻訳機はモデルを仕立て直せる (57 %)
第7ラウンドでは、先生の迷いを学ぶと直り、答えだけを学ぶと傷つくことがわかりました。では、迷いを大げさに見せる先生は、もっとよく教えられるのでしょうか。これが 2015 年に Hinton らが提案した「温度」の考え方です。授業の前に、先生と生徒の確率をならしておくのです。T = 2 では「return 90 %、yield 8 %」が「return 70 %、yield 20 %」に近くなり、T = 4 ではさらにならされます。各サイズに同じ生徒を3人(T = 1、2、4)用意し、先生も文章も時間も同じにしました。予測は5つで、実行前に記録しました。
出典: Hinton, Vinyals & Dean, Distilling the Knowledge in a Neural Network (2015)
確立
T = 1 では3度目の同じ数字
T = 1 の生徒は、第7ラウンドの「ニュアンス」の生徒とまったく同じ授業を受け、呼び戻しもまったく同じでした。135M で 6.2 %、360M で 14.6 % です。この数字が同じ値で出たのは、第5・第7・第9ラウンドに続き3度目です。
確立
先生が大げさにするほど、生徒は学ばない
呼び戻しは温度とともに増えます。T = 1、2、4 で、135M は 6 → 10 → 15 %、360M は 15 → 17 → 21 % でした。コードと文章のパープレキシティも同じ順に少しずつ悪くなります。T = 2 は少なくとも T = 1 と同じくらいよいと賭けていましたが、どちらのサイズでも外れました。
有望
理由:自信過剰でも、迷いすぎでもいけない
迷いを大げさにしたものを学んだ生徒は、迷いすぎるようになります。第7ラウンドの「答え」の生徒が自信過剰になったのと、ちょうど反対です。どちらも先生から離れていきますが、向きが逆なのです。温度が役立つのは、小さな生徒が、自信満々でニュアンスがほとんど見えない大きな先生から学ぶ場合です。ここでの生徒は先生の傷ついたコピーで、目標は先生にそっくりになることです。だから、先生の確率をそのまま写すのがいちばんよいのです。
5つのうち3つの予測が当たりました。T = 1 での再現、T = 4 での悪化、そして迷いがランダムよりよい目印であることです。外れた2つは、T = 2 で得をすると賭けたものです。
第7・第9ラウンドを合わせると、専門家を直すための簡単な規則が見えてきます。先生の確率をそのまま学ぶことです。固くしすぎても(答えだけ)、柔らかくしすぎても(高い温度)、教える力は落ちます。このラウンドは直し方についてのもので、コストについてではありません。H10 は 62 % のままです。
H10 · 翻訳機はモデルを仕立て直せる (57 %)
第8ラウンドの専門家は、Python 標準ライブラリのコードで直され、評価されていました。ファイルは別でも、書き方も書き手も同じです。この専門家は Python のコード全般が得意なのでしょうか、それとも標準ライブラリのコードだけなのでしょうか。第8ラウンドをそのままやり直し、よそのコードでの評価を追加しました。PyTorch と Transformers のソースから取った 48 個の抜粋で、カットのときも修理のときも一度も使っていないものです。予測は5つで、実行前に記録しました。
確立
なじみの場所では第8ラウンドが再現される
標準ライブラリでは、第8ラウンドの数字がそのまま戻ってきました。1200 ステップ後の呼び戻しは 0 %、速さの比は 0.88、ストップウォッチも安定しています(ずれ 1 %)。実測コストは 0.88 です。
確立
よそのコードでは、ほぼ2つに1つで呼び戻す
PyTorch と Transformers のコードでは、切った専門家は修理前に抜粋の 71 % で完全なモデルを呼び戻し、1200 ステップ後でもまだ 48 % でした。修理は少しは効きますが(パープレキシティ 1.29 倍 → 1.16 倍)、なじみの場所よりずっと効果が小さいのです。このコードでの実測コストは 1.36 で、何も切らないより高くつきます。私たちが「Python コードの専門家」と呼んでいたものは、実は標準ライブラリの専門家でした。得意分野は、修理に使ったデータの範囲なのです。
確立
そして迷いが道しるべにならなくなる
なじみの場所では、専門家の迷いに従うと、ランダムより呼び戻しが少なくて済みました。よそのコードでは、そうはいきません。迷いに従っても 48 %、ランダムでも 48 % です。専門家は、自分の分野の外に出ると、どの抜粋が苦手なのか見分けられません。これは翻訳器にとって重要な結果です。警報が役に立つのは、それを調整した場所だけなのです。
5つのうち1つの予測だけが当たりました。標準ライブラリでの再現です。残りの4つは大きく外れました。これまでで最も当たらなかったラウンドですが、おそらく最も役に立つラウンドです。
事前に書いた規則はこうでした。よそのコードで呼び戻しが 20 % を超えたら、環 b を 65 % から 60 % に戻す。実際は 48 % でした。そこで H10 は 62 % から 57 % に下がります。第8ラウンドで測った得は今も正しいのですが、修理したまさにその場所でしか成り立ちません。本物の翻訳器は、自分がその場所を出たときにそれに気づく必要があります。迷いはそれを教えてくれません。
H10 · 翻訳機はモデルを仕立て直せる (57 %)
コスト半減に近づくには、もっと切る必要があります。3億6000万のモデルの MLP ニューロンを 50 % 取り除き、第5ラウンドの8倍の時間をかけて直しました。600、1200、2400 ステップ後に確認します。交互の時間計測も、二重の評価(標準ライブラリとよそのコード)も同じです。予測は5つで、実行前に記録しました。
出典: Xia et al., Sheared LLaMA: Accelerating Language Model Pre-training via Structured Pruning (ICLR 2024)
確立
専門家はずっと速い
半分に切ると、完全なモデルの 0.75 の時間で動きます。ストップウォッチは安定しており(ずれ 0.7 %)、第4ラウンドと同じく時間の4分の1を節約できます。
確立
しかし修理は頭打ちになる
標準ライブラリでは、呼び戻しが 600、1200、2400 ステップ後に 81 % から 54 %、50 %、46 % へと下がりました。時間を2倍にしても、もう4ポイントしか減りません。コードのパープレキシティは 1.17 倍、文章は5倍近くのままです。実測コストは 1.21 でした。よそのコードではさらに悪く、呼び戻し 73 %、コスト 1.48 です。
推測
理由:知識を取り除きすぎた
25 % のときは、カットで失ったものを修理でほとんど取り戻せました。50 % では、学習用コードを2周半しても一部しか戻りません。考えられる説明は、ニューロンが半分ではモデルの知識を収めきれず、蒸留では場所を新たに作れないということです。Sheared-LLaMA のような研究は、数百万ではなく数十億のトークンで修理しています。
5つのうち2つの予測が当たりました。確認のたびに呼び戻しが減ったことと、専門家が実際に 0.75 で動いたことです。残りの3つは外れました。2400 ステップ後でも呼び戻しは 46 % 必要で、コストは 1.21 のままです。
事前に書いた規則では H10 は動かず、57 % のままです。第10・第11ラウンドは、同じことを2つの方向から示しています。Mac のようなマシンでは、切ってから直す方法は、ほどほどのカットと、はっきり決まった分野でなら機能します。もっと切る、あるいはもっと広い分野を狙うには、まったく別の規模の修理が必要です。
H10 · 翻訳機はモデルを仕立て直せる (57 %)
XXX第12ラウンド:2人の先生に学び、税関を置く
第10ラウンドでは2つの弱点が見つかりました。標準ライブラリで直した専門家はよそのコードに弱いこと、そして迷いを見ても苦手な抜粋を見つけられないことです。今回はその両方に取り組みました。まず、カットと修理に混ぜたデータを使いました。半分は標準ライブラリ、半分は Transformers のソースです。次に、専門家の迷いではなく「抜粋が何に似ているか」を見る検出器を試しました。なじみのコードでの内部状態の指紋を取っておき、新しい抜粋がその指紋からどれだけ離れているかを測るのです。予測は6つで、実行前に記録しました。
確立
多様な修理なら、見たことのないコードにも通用する
1200 ステップ後、専門家が完全なモデルを呼び戻すのは、標準ライブラリの抜粋で 4 %、取り分けておいた Transformers のファイルで 0 %、どの段階でも使っていない PyTorch の抜粋で 21 % でした。標準ライブラリだけで直した第10ラウンドでは、PyTorch と Transformers を混ぜたよそのコードで 48 % を呼び戻していました。取り分けておいた Transformers のファイルでは、完全なモデルよりわずかに良い結果さえ出ています(パープレキシティ 0.997 倍)。
確立
税関はよそのコードを見抜く
検出器は、無作為に選んだペアの 93 % で、PyTorch の抜粋をなじみのコードと区別できました(ROC 曲線下面積 0.93)。一方、迷いは PyTorch でまたしても役に立ちません。迷いに従うと、ランダムより呼び戻しが多くなりました(21 % 対 17 %)。専門家に迷っているかを尋ねるより、何を読んでいるかを見るほうがうまくいきます。
有望
混ざった流れでコストが 1 を下回る
実際の使い方に近い、標準ライブラリと PyTorch が半分ずつの 96 個の抜粋の流れで、検出器がよそと判断した抜粋から先に呼び戻すと、呼び戻しは 9.4 % で済みました。迷いに従うと 11.5 %、ランダムなら 13.8 %、すべてを知っている仮想の判定者でも 7.3 % です。速さの比 0.88、安定したストップウォッチ(ずれ 1.4 %)のもとで、実測コストは 0.97 になりました。
6つの予測すべてが当たりました。このノートでは2度目です。第10ラウンドの2つの弱点には、それぞれ対策が見つかりました。より多様な修理と、迷いではなく抜粋そのものを見る検出器です。
ただし、H10 を上げるための事前の規則は、混ざった流れでコストが 0.95 を下回ることを求めていました。0.97 ではまだ少し足りないため、環 b は 60 %、H10 は 57 % のままです。それでも、本物の翻訳器の姿は見えてきました。多様な場所で直した専門家と、よそのものを完全なモデルへ回す税関がそろえば、なじみのものと未知のものが混ざった流れでも、小さいながら実測できる得が出るのです。
H10 · 翻訳機はモデルを仕立て直せる (57 %)
XXXII第13ラウンド:12人の先生と、せっかちな税関
第12ラウンドでは、2つの系統のコードで直すだけで、PyTorch での呼び戻しが 48 % から 21 % に下がりました。そこで考えをさらに進め、Python コードの12 系統を同じ割合で使って直しました(標準ライブラリ、Transformers、NumPy、pandas、SymPy、NetworkX、pip、setuptools、Rich、Pydantic、Pygments、Jinja2)。最終試験は引き続き PyTorch です。さらに、せっかちな税関も試しました。最後の層を待たず、32 層のうち 8 層まで読んだところで抜粋を判断し、よそのものだと見なせば専門家はそこで止まり、完全なモデルに引き継ぎます。予測は6つで、実行前に記録しました。
確立
先生を増やしても PyTorch では効かない
1200 ステップ後、ほかの11系統で取り分けておいたファイルについては、専門家は完全なモデルを 0 % しか呼び戻しません。学んだことはよく身についています。しかし PyTorch では 23 % と、2系統のとき(21 %)と変わらず、標準ライブラリでは 8 % に戻ってしまいました(第12ラウンドは 4 %)。原因の一部は実験の組み方にあります。同じ割合にしたため、いちばん小さい系統がほかのすべての量を制限し、生徒は第12ラウンドより小さなデータを3周することになったのです。
確立
最後の税関は嗅覚が鈍る
指紋に12系統が入ると、なじみのコードがとても多様になり、PyTorch はその中で目立たなくなります。ROC 曲線下面積は 0.93 から 0.73 に下がりました。混ざった流れでは迷いより少ない呼び戻しで済みますが(11.5 % 対 15.6 %)、コストは 0.99 にとどまります。
有望
せっかちな税関は何も見分けないが、時間は稼ぐ
8 層の時点では、検出器は PyTorch となじみのコードを区別できません(ROC 曲線下面積 0.45、コイン投げと同じ)。その並べ方に従うと、呼び戻しは 24 % 必要です。それでもコストはこのラウンドで最良の 0.95 でした。8 層を読むのは完全なモデルの 0.2 しかかからず、早めに送り返した抜粋ごとに、専門家は読む量の4分の3を節約できるからです。得は嗅覚からではなく、早く止まることから来ています。
6つのうち2つの予測が当たりました。学んだ系統での好成績と、最後の税関より安くつくせっかちな税関です。残りの4つは外れました。PyTorch は 23 % のまま、標準ライブラリは悪化し、せっかちな税関は何も見分けられず、最後の税関のコストは 0.99 にとどまりました。
事前の規則は、PyTorch での呼び戻しが 12 % を下回ることを求めていました。そのため H10 は 57 % のままです。教訓は2つあります。系統を増やしても、それぞれをもっと長く学ぶことの代わりにはなりません。そして税関には十分にくっきりした指紋が必要です。なじみの範囲が広いほど、よそのものはその中に紛れてしまいます。今のところ最良の組み方は、第12ラウンドのものです。
H10 · 翻訳機はモデルを仕立て直せる (57 %)
第12ラウンドの最後の税関は嗅覚が鋭かったものの、判断するのは専門家がすべてを読み終えたあとでした。第13ラウンドで 8 層目に置いた税関は、時間は稼いでも何も見分けられませんでした。そこで第12ラウンドの組み方をそのまま使い、途中に6つの税関を置きました。32 層のうち 8、12、16、20、24 層の後と、最後です。後から一番よいものを選ぶことがないよう、H10 の規則は事前に1つだけ、16 層の税関に適用すると決めておきました。予測は5つで、実行前に記録しました。
確立
第12ラウンドが数字どおり再現される
組み方が同じなら結果も同じです。1200 ステップ後の呼び戻しは、標準ライブラリで 4.2 %、取り分けておいた Transformers のファイルで 0 %、PyTorch で 20.8 % でした。最後の税関の ROC 曲線下面積も 0.93 に戻りました。ストップウォッチは安定しています(ずれ 0.5 %)。
有望
嗅覚は最後の最後にしか現れない
途中の税関はほとんど何も見分けられません。ROC 曲線下面積は、8 層で 0.63、12 層で 0.62、16 層で 0.52、20 層で 0.49、24 層で 0.69、そして最後に 0.93 です。嗅覚は深さに応じて少しずつ育つのではなく、最後の層で突然現れます。考えられる説明はこうですが、このラウンドでは確かめていません。最後の層は次の語を予測するためのもので、各ライブラリ特有の語彙がはっきり跡を残すのはそこです。途中の層は、どのライブラリにも共通するコードの構造を表しているのでしょう。
確立
早く止まれば、見えなくても得をする
規則の対象だった 16 層の税関は、呼び戻しが 21 % 必要で、コストは 0.98 と、最後の税関(0.97)より高くなりました。いちばん安いのは今回も 8 層の税関で 0.94 ですが、ほとんど何も見えていません。第13ラウンドと同じく、うまく並べたからではなく、一部の抜粋で専門家を早く止めたから得をしたのです。後からこの税関を選ぶのはずるになるので、規則では認めていません。
5つのうち1つの予測が当たりました。第12ラウンドの再現です。残りの4つは外れました。16 層の税関には嗅覚がなく、8 層より優れてもおらず、コストは最後の税関を上回りました。
事前の規則では H10 は動かず、57 % のままです。このモデルでは、よそのコードを見分けるには最後の層まで読む必要があることがわかりました。速さと見分けの両方を得るには、隠れ状態との距離を測るだけでなく、もっと巧みな税関が必要です。たとえば、最初の数層からよそのものを見つけるよう訓練した小さな分類器です。
H10 · 翻訳機はモデルを仕立て直せる (57 %)
規模。きれいな二つの課題に取り組む80万パラメータのモデルは、本物の質問に向き合う80億パラメータのモデルではありません。そこでは重ね合わせははるかに密で、課題どうしもずっと混ざり合っています。
ふるまいからの逆コンパイルは、ネットワークを読むことではありません。私たちの段階3は、答えからプログラムを推測するもので、重みの中から読み取るわけではありません。すでに名前のつけられるルールには通用しますが、未知のルールを見つけるのは別の問題で、AlphaEvolveが取り組んでいるものです。
専門家の迷い。計算全体が、自分のわからないときにそれがわかる専門家を前提にしています。モデルは自信過剰なことが多く、黙ってまちがえる振り分けは、節約する以上に高くつきます。
刈り込みの本当の得。チップがゼロもかまわず計算するなら、重みをゼロにしても何も速くなりません。ブロックを丸ごと切るか、チップが活かせる並びに従う必要があり、そうした切り方はより大きな傷を残します。
出典
- Mishra et al., Accelerating Sparse Deep Neural Networks (NVIDIA, 2021)
- Frantar & Alistarh, SparseGPT: Massive Language Models Can Be Accurately Pruned in One-Shot (ICML 2023)
- Sun et al., A Simple and Effective Pruning Approach for Large Language Models (Wanda, ICLR 2024)
- Lindner et al., Tracr: Compiled Transformers as a Laboratory for Interpretability (NeurIPS 2023)
- Friedman et al., Learning Transformer Programs (NeurIPS 2023)
- Elhage et al., Toy Models of Superposition (Anthropic, 2022)
- Ma et al., LLM-Pruner: On the Structural Pruning of Large Language Models (NeurIPS 2023)
- Xia et al., Sheared LLaMA: Accelerating Language Model Pre-training via Structured Pruning (ICLR 2024)
- Hinton, Vinyals & Dean, Distilling the Knowledge in a Neural Network (2015)
- Hu et al., LoRA: Low-Rank Adaptation of Large Language Models (ICLR 2022)
すべての出典 (127) →
chi poco pensa molto erra ページの先頭へ