確立
DeepSeek-V3：大きな図書館、小さな机
6,710億パラメータ、1語あたりの稼働は5.5%。学習全体にかかったのはH800チップで278.8万GPU時間で、その水準にしては控えめな予算です。多くのテストで、2024年末の最良の非公開モデルと肩を並べます。
深掘り · 第IV章
モデルの一部だけを動かす
脳は一つの語を読むためにすべての神経細胞を働かせたりしません。ところが従来のモデルは、すべてのパラメータがすべての語に働きます。新しい世代は、必要な部分だけを目覚めさせます。
考え方をひとことで
従来の（「密な」）モデルは、社員全員がすべての手紙を読む会社のようなものです。混合専門家は、一つの大きな塊を多数の小さな専門家に分け、各語を数人に任せる振り分け役を置きます。
狙いは、モデルがたくさん知っている（パラメータが多い）一方で、1語ごとには少ししか計算しない（稼働するパラメータが少ない）ことです。全体の大きさと1語あたりの費用が、別々のつまみになります。
どう動くのか
各層で、小さなネットワークである振り分け役が、いまの語について専門家それぞれに点数をつけ、上位のいくつかを残します。計算するのはそれだけです。難しいのは釣り合いです。振り分け役がいつも同じ専門家を選ぶと、ほかは学ばないままになり、ハードウェアの一部が遊んでしまいます。
DeepSeek-V3（2024年12月）は各層に256の専門家と1つの共有専門家を持ち、1語につき8つを動かします。6,710億のうち370億パラメータが稼働します。負荷の釣り合いは通常のペナルティを使わず、使われていない専門家の点数を少し上げ、使われすぎの専門家の点数を少し下げることで取っています。
出典： DeepSeek-AI, DeepSeek-V3 Technical Report (2024)
図F — 16の専門家のうち2つ
猫がソファの上で静かに眠っている
2 / 16 の専門家が稼働 · 12.5 % （層全体に対して）
説明用の図です。考え方を示すもので、測定値ではありません。
仕事を省く三つの方法
有望
Mixture-of-Depths：やさしい語は層を飛ばす
専門家を選ぶ代わりに、各層がどの語を処理するかを選び、残りはそのまま通します。Google DeepMindでこう学習したモデルは、1回の処理あたり最大50%少ない演算で標準のモデルに並び、生成も最大50%速くなりました。
有望
Mixture-of-Recursions：同じ層を使い回す
難しい文を読み返すように、同じ層のまとまりを何度か当てはめ、各語が何回通るかを振り分け役が決めます。1億3,500万から17億パラメータまでで、同じ計算量なら標準モデルを上回り、しかもパラメータは少なくて済みます（NeurIPS 2025）。
限界
メモリは減りません。6,710億のパラメータはすべて保存しておく必要があり、多くのチップに分散されることもよくあります。節約できるのは計算で、保存場所ではありません。語はマシンの間を行き来します。要求をまとめにくくなります。語ごとに道筋が違うと、多くの利用者をまとめて処理すること、つまりサーバーを効率よく使う方法がうまく働きません。Mixture-of-Depthsが真価を発揮するのは主に一件ずつの処理です。学習が不安定：振り分け役が少数の専門家に偏ってしまうことがあります。
私たちの仮説にとっての意味
これはH6の一つ目の要因、つまり1語ごとに働くモデルの割合です。私たちの階層とも響き合います。専門家は知識を分野ごとに横に分け、私たちのピラミッドは抽象度ごとに縦に分けます。両方を組み合わせることもできるでしょう。原理には専門家を、細部には記憶を。
試してみたいこと
公開されている混合専門家モデルの中をのぞき、OrigoTechの記事を使って、専門家が話題（経済、AI、健康）で分かれるのか、形（句読点、数字、文法）で分かれるのかを確かめたいと思います。主に形で分かれるなら、専門家は図書館のようには知識を整理しておらず、私たちの縦の階層はまだこれから作るものだということになります。