トークン
モデルが読む文章の小さな単位です。短い単語や、単語の一部であることが多いです。データの量や料金はトークンの数で数えます。
パラメータ（重み）
学習のあいだに調整される数です。モデルには何十億もあり、その全体がモデルの知識をつくっています。巨大なミキサーにある何十億もの小さなつまみを思い浮かべてください。
学習（訓練）
モデルが学ぶ段階です。文章を読んで続きを当て、まちがえるたびにパラメータが直されます。時間もお金もかかりますが、行うのは一度だけです。
推論（運用）
学習を終えたモデルを使うことです。つまり質問に答えることです。この費用は答えるたびにかかるので、減らすことに意味があります。
損失（ロス）
学習中のモデルのまちがいの点数です。低いほど、続きをうまく当てられています。二つの方法を「同じ損失で」比べることがよくあります。
ベンチマーク
答えのわかっている問題を集めたもので、同じ規則でモデルを比べるために使います。MMLU、GSM8K、AIMEなどがその例です。
スケーリング則
モデルの大きさ、データの量、得られる品質のあいだに測定された関係です。小さな学習の結果から、大きな学習の結果を予想できます。
専門家混合（MoE）
モデルを「専門家」と呼ばれる多くの小さな網に分けたものです。トークンごとに、小さな振り分け役が少数の専門家だけを動かします。少ない計算で、大きな知識を使えるのです。
カスケード（と振り分け役）
まず小さく安いモデルに尋ね、答えに納得できないときだけ大きなモデルへ上がるしくみです。振り分け役は、それぞれの質問をどこへ送るか決めるプログラムです。専門家混合でも、振り分け役が同じように、どの専門家を動かすかを選びます。
投機的デコーディング
小さなモデルが先にいくつかの単語を提案し、大きなモデルがそれを一度にまとめて確かめます。最終的な文章は大きなモデルのものと同じですが、より速く出てきます。
量子化（ビットを減らす）
モデルの数をそれぞれ少ないビットで書くことです。16ビットなら一つの数は65,536通りの値をとれますが、4ビットでは16通りだけです。値段を円単位に丸めるようなもので、軽くなるかわりに少し不正確になります。
蒸留
大きな「先生」モデルの知識を、小さな「生徒」モデルに移すことです。生徒を先生の答えで学習させます。このノートでは、知識をプログラムへ蒸留するという言い方もします。
強化学習
試行錯誤で学ぶことです。モデルが試し、点数で報われたり報われなかったりし、よりよい点数をとれるようにパラメータを調整します。多くの推論モデルがこの方法で学習しています。
検証役（審判）
答えが正しいかどうかを判断するものです。コードならテスト、数学なら計算、あるいは別のモデルです。確かめるのは、見つけるよりずっと簡単なことが多いのです。
外部メモリ
モデルがすべてをパラメータに覚える代わりに調べにいく、文章やメモの保管庫です。辞書を丸暗記するのではなく、開いて引くようなものです。
メモリの壁
コンピュータでは、数をメモリと計算部のあいだで動かすほうが、計算そのものよりはるかに多くのエネルギーと時間を使います。大規模モデルの大きな足かせの一つです。
崩壊（モデル崩壊）
モデルがおもにほかのモデルの書いた文章から学ぶと起こることです。まずまれな事例が消え、それから世代を重ねるごとに品質が落ちていきます。
アムダールの法則
仕事の一部を速くしても、効くのはその部分だけです。ある段階が時間の半分を占めるなら、それを一瞬で終わらせても節約できるのは半分だけです。