分析
LeCunとBalestriero、JEPAがテキストと画像を42分の1のサンプル数で整列させたと報告
Balestriero氏とLeCun氏のarXivプレプリント(v1)は、JEPAのテキストエンコーダが画像との整列で次トークン予測に並ぶのに必要なサンプルが42分の1だと報告する。著者らの結果。
2026年11月3日時点で、Randall BalestrieroとYann LeCunによるプレプリント(arXiv 2610.39302、バージョン1、2026年10月29日)は、JEPAとして学習したテキストエンコーダが、画像モデルとの整列で次トークン予測とほぼ同じ水準(0.109に対して0.111)に達し、必要な学習サンプルは9億ではなく2,160万、約42分の1だと報告している。これは著者らの結果であり、当サイトの知る限り独立した再現はない。
要点
- 著者らが証明すること：理想化した仮定の下で、別々に学習したJEPAは回転を除いて同じ表現に収束する。
- 42倍が測るもの：ある1つのチェックポイントでの学習サンプル数と、ある1つの整列スコア。計算量の削減ではない。
- 109M対72Bの表が示すこと：1億900万パラメータのJEPAテキストエンコーダが、ある画像整列指標で700億級の大規模言語モデルより高いスコアを出した。
- 確定していないこと：言語の質が向上するかどうか、他のチームが同じ数字を得られるかどうか。
プラトン的表現仮説とは何か
この仮説(Huhら)は、別々に学習したモデルが、異なる種類のデータで学習していても、世界についての共通の像に近づいていくと主張する。観察されてはいるが、証明はされていない。JEPA(joint-embedding predictive architecture、結合埋め込み予測アーキテクチャ)は、同じ対象の関連する2つの「ビュー」の埋め込みを近づけるよう、コンテキストエンコーダとターゲットエンコーダを学習する。ここでの「アラインメント(整列)」とは、2つのモデルの埋め込みが、同じ項目を同じ近傍に置くことを指す。
プレプリントの主定理は、すべてのモダリティが正例ペアの同じ分布を共有し、最小解が回転を除いて一意であれば、すべてのエンコーダが回転を除いて一致するというものだ。その回転は、適切に配置された約k個のペアで見つけられる。
重要なのは「良いビュー」と「悪いビュー」の区別である。良いビューとは、写真とそのキャプションのように、1つの場面の2つの観測を指す。悪いビューとは、1つの文書の2つの断片を指す。著者らは、検証すべき仮説として示す解釈として、次トークン予測は悪いビューのJEPAであり、したがって言語モデルは大規模になって初めて視覚と整列する、と論じている。
出典：BalestrieroとLeCun、arXiv 2610.39302。
この定理は、理想化された最適解、有限の世界、恒等予測器、回転を除く一意性を仮定している。学習される予測器を持つJEPAは対象外である。
「42分の1」は正確には何を測っているのか
この比較(4.2節)では、同じ1億900万パラメータのテキストエンコーダ(BERT-B)と、同じウェブ画像キャプション(Recap-DataComp)を使う。アラインメントは、WIT-1024上でDINOv2 ViT-Bに対するmutual 10-NN(相互10近傍)指標で測る。良いビューのJEPAは、2,160万サンプルの後に0.109を記録する。次トークン予測は、9億サンプルの後に0.111を記録する。比率は、900を21.6で割って約42になる。
出典：arXiv 2610.39302、4.2節。
本文から読み取れる3つの留意点がある。2つの実行は、学習率とバッチサイズが異なるレシピを使っている。次トークン予測は単一のチェックポイントであり、対応する学習曲線ではない。そして、数えているのは計算量ではなくサンプル数である。サンプル数を同じ2,160万にそろえた場合(3,300万パラメータのエンコーダ)、著者らはより大きな差、0.108対0.071を報告している。
大規模言語モデルとの比較はどうなっているか
同じ指標(WIT-1024とDINOv2 ViT-B)で、著者らの表3は、1億900万パラメータのJEPAに0.184、Qwen2.5-72Bに0.154、Llama-3-70Bに0.151を与えている。CLIP B/32のテキストエンコーダは0.124、all-mpnet-base-v2は0.118、同じテキストでの次トークン予測は0.111、悪いビューのJEPAは0.088である。
出典：arXiv 2610.39302、表3。
ほかの指標も同じ方向を示す。線形CKAは0.507で、Qwen2.5-72Bは0.418。COCOでは0.161対0.108。ただしJEPAがすべてで勝つわけではない。Flickrの画像検索(R@1)では0.478で、ペアで学習したCLIPのテキストエンコーダ(0.489)とall-mpnet(0.481)をわずかに下回る。要旨はまた、ペアデータなしのImageNet-100でのゼロショットtop-5精度が64%で、80億パラメータまでの言語モデルは最大でも56%だったと報告している。
著者らはどのような限界を認めているか
SIGRegの重みを2倍にした4つ目のランダムシードは0.121となり、4シードの平均は0.168になる。それでも表中のどの言語モデルよりも高い。キャプションの大半を書いたモデルは、CLIP ViT-L/14を通して画像を見る。WITの1,024件のキャプションのうち少なくとも43件が学習テキストに含まれているが、それらを除いてもスコアの変化は0.002未満である。9億4,000万サンプルの悪いビューのJEPAは単一のシードである。勾配クリッピングなしでは、36回の実行のうち3回が崩壊した。
何が確定していないか
画像とのアラインメントが言語や推論の質を高めるかどうか。他のレシピ、データセット、指標でも結果が成り立つかどうか。当サイトが確認していない独立した再現とピアレビュー。比較がサンプル数で行われているため、総計算量。Startup Fortune(11月1日)は数字を伝えたが、報道の出典はこの1件にとどまる。
比較表
| 項目 | 2026年11月3日時点で出典が述べていること | 出典 |
|---|---|---|
| 定理 | 別々に学習したJEPAは、理想化した仮定の下で回転を除いて一致する | arXiv 2610.39302 |
| 42x | 21.6Mサンプルで0.109に対し、900Mで0.111。1つのチェックポイント、異なるレシピ | arXiv 2610.39302 |
| 109M対72B | DINOv2 ViT-Bに対するmutual 10-NNで0.184対0.154(Qwen2.5-72B) | arXiv 2610.39302 |
| 再現 | 当サイトの知る限り報告なし。プレプリントv1 | arXiv、Startup Fortune |
よくある質問
JEPAは大規模言語モデルに勝つのか
確定していない。測っているのは画像エンコーダとのアラインメントであり、言語の質ではない。
42倍は計算量の削減か
違う。学習サンプル数を、単一のチェックポイントで、異なるレシピのまま数えたものである。
結果は再現されたか
当サイトの知る限り再現されていない。これはプレプリントのバージョン1である。
方法と限界
当サイトは2026年11月3日に、要旨とHTML版の自動要約を通じてプレプリントを読んだ。255,000文字のうち約100,000文字である。6節と7節、付録、5.2節の終わりは読んでいない。テストは実施しておらず、独立した検証も見つかっておらず、投資助言は行わない。
