Large Concept Models（Meta）
思考の単位が文全体になります。文は、200の書き言葉と76の話し言葉が共有する意味の空間SONARに置かれます。モデルが予測するのは次の単語ではなく次の考えです。多言語の要約では同じ規模のLlama 3.1を上回りますが、流暢さでは劣ります。
深掘り · 第II章
言葉ではなく概念で考える
従来のモデルは、固定された辞書であらかじめ切り分けた、同じ種類の小さな断片で文章を読みます。私たちは文字を読み、次に単語を、そして意味のまとまりを読みます。モデルがこうした段を自分で組み立てたらどうなるでしょうか。
考え方をひとことで
学習の前に、トークナイザーと呼ばれる道具が、固定された辞書に従って文章を「トークン」に切り分けます。モデルは文字を目にすることがなく、トークンより上の段で考えることもありません。すべてが一つの段で起きているのです。
このページで紹介する研究は段を増やし、何よりも、どこで切るかをモデル自身に決めさせます。
仕組み
3つの作業場がある工場を思い浮かべてください。小さな作業場が文章を一文字ずつ読み、文字を塊にまとめて、その包みを大きな中央の作業場に渡します。中央の作業場は、ずっと短くなった列の上で考える仕事の大部分を担います。最後の小さな作業場が、結果を再び一文字ずつ広げます。
利点は、最もコストのかかる中央の作業場が扱う要素が少なくて済むことです。しかも切り方は中身に合わせて変わります。予測しやすい部分は大きな塊に、難しい部分は細かく切られます。計算は情報のあるところに向かうのです。
図C — 文字から概念へ
概念
知識を整理そして学ぶ
塊
知識は学ぶ前に整理される
文字
知識は学ぶ前に整理される
説明用の図です。考え方を示すもので、測定値ではありません。
3つのモデル、3つの段
Byte Latent Transformer（Meta）
辞書はもう使いません。モデルはバイトを読み、その先の予測が難しくなるところで区切って、大きさの異なる「パッチ」にまとめます。80億パラメータ、4兆バイトまでの規模で、初めてトークン方式のモデルに並び、推論コストが同じなら規模を拡大したときにより良い結果を出します。
出典： Pagnoni et al., Byte Latent Transformer (Meta, ACL 2025)
H-Net（カーネギーメロン大学、Cartesia）
切り方は規則を与えずにすべて学習されます。モデルは自力で、従来のトークンに近い約4.5〜5バイトの塊を生み出します。2段構成では2倍の大きさのトークン方式モデルに並び、DNAではデータ効率が約4倍になりました。
私たちにとってなぜ重要か
これはまさに、私たちの結論IVが示した道です。押しつけるのではなく、学習させる階層です。トークナイザーは人が書いた規則でしたが、H-Netはそれを学習に置き換えます。サットンの「苦い教訓」を、階層そのものに当てはめたものと言えます。
そしてこれは省エネへの道でもあります。難しさに応じて計算を割り振れば、予測しやすい部分への出費を抑えられます。
限界
こうした構造は学習が難しくなります。列の長さは一定でなく、段ごとに設定が必要です。試されているのは数十億パラメータ程度までで、最大級のモデルにはほど遠い規模です。LCMはまだ流暢さに課題があり、自分では学習しない固定された意味の空間（SONAR）に頼っています。
私たちの仮説にとっての意味
H1への支持です。明示的な構造を与える（あるいは組み立てさせる）と学習の効率が上がります。従来の切り方がうまく働かないDNA、中国語、コードでは、その差がはっきり出ます。さらにH5ともつながります。LCMの「考え」は連続的な空間にあり、一つの文が複数の系統の近くに位置します。木よりもグラフに近い構造です。
試してみたいこと
段をもう一つ積み上げます。文字から塊へ（H-Net）、塊から考えへ（LCM）、そして考えから規則へ。いちばん上の段が、仮説H2でいうモデルのコンパクトな記憶になるはずです。