モデルの中の記憶

言語モデルは、知識の多くをフィードフォワード層と呼ばれる部分に蓄えています。これは記憶のように働きますが、密な記憶です。どの単語もその全体を通るため、毎回計算がかかります。

メモリ層は、これをキー → 値の組からなる巨大な表で置き換えたり、補ったりします。モデルは単語ごとに、ほんの数個の値しか読みません。こうして、計算を増やさずに何十億ものパラメータを加えられます。誰も読む本を増やさないまま、蔵書だけが増えていく図書館のようなものです。

問題は、100万のキーの中から最良のものを探すには、ふつう100万回の比較が要ることです。プロダクトキー（Lampleら、2019年）の工夫はこうです。問い合わせを前半と後半に分け、それぞれを1,000個の「半分のキー」のリストと比べ、上位同士を掛け合わせます。すると、1,000 × 1,000 = 100万マスの中から、わずか2,000回の比較で正しい結果が得られます。

モデルはそのあと数個（たとえば30個ほど）の値を読み、重みつきの平均をとります。どれだけを先の計算に流すかは「ゲート」が決めます。

出典： Lample et al., Large Memory Layers with Product Keys (NeurIPS 2019)

記憶には2つの系統が見えてきました。一度学習したら変わらない固定の表（Memory Layers、UltraMem、Engram）と、Titansのように読みながら書き込まれる記憶です。

Titansは自分が驚いたことを記憶します。これはまさに、例外こそ覚える価値があるとする私たちの仮説H4の考え方です。予想外のことだけを記憶する機械は、「規則＋例外」という形の圧縮を行っていることになります。

H4 · 例外こそが錨になる (65 %)

これは、モデルの内部で知識と推論を分けられることを示す、現時点で最も直接的な証拠です。Engramでは、記憶を切ると事実の知識は崩れますが、ほかの能力までは崩れません。しかも記憶があることで、ネットワークの最初の層が推論に使えるようになります。

さらにコストを抑える道でもあります。記憶は安価な通常のメモリに置けますし、更新するときもモデル全体を学習し直す必要はなく、いくつかのマスを書き換えるだけで済みます。

巨大な表を読むのは計算こそ軽いものの、メモリの帯域を大きく使います。効率よく動かすには専用の実装が必要でした。公開された実験は、Metaで80億パラメータのベースモデルまで、DeepSeekで270億パラメータまでです。そしてこの記憶は内部にあって中身が見えません。外部のデータベースと違い、そこから出典を読み取ったり引用したりすることはまだできません。

H2（「上の層は学び、下の層は参照する」）を強く支持する結果で、確信度を70%から75%に引き上げます。Engramでは、パラメータのおよそ4分の1を記憶に、4分の3を計算に回すのが最適でした。未解決の問い3が尋ねている境界について、初めて得られた具体的な数字です。

H2 · 上の層は学び、下の層は参照する (75 %)

メモリ層を持つミニモデルに事実のリストを覚えさせ、そのうち1つだけを訂正します。触るのは、その事実のマスだけです。訂正が定着し、ほかの何も忘れていないかを確かめ、同じ話題のマスが自然に寄り集まるかを見ます。もしそうなれば、階層がひとりでに現れたことになります。