분석
LeCun과 Balestriero, JEPA가 텍스트와 이미지를 42분의 1 샘플로 정렬했다고 보고
arXiv 프리프린트(v1)는 JEPA 텍스트 인코더가 다음 토큰 예측 수준의 이미지 정렬에 샘플 42분의 1로 도달했다고 보고한다. 저자들의 결과.
2026년 11월 3일 기준으로 Randall Balestriero와 Yann LeCun의 프리프린트(arXiv 2610.39302, 버전 1, 2026년 10월 29일)는 JEPA로 학습한 텍스트 인코더가 이미지 모델과의 정렬에서 다음 토큰 예측과 거의 같은 수준(0.109 대 0.111)에 도달하며, 필요한 학습 샘플은 9억 개가 아니라 2,160만 개로 약 42분의 1이라고 보고한다. 이는 저자들의 결과이며, 우리가 아는 한 독립적으로 재현되지 않았다.
핵심 요약
- 저자들이 증명하는 것: 이상화된 가정 아래에서 따로 학습한 JEPA는 회전을 제외하면 같은 표현으로 수렴한다.
- 42배가 측정하는 것: 하나의 체크포인트에서의 학습 샘플 수와 하나의 정렬 점수. 계산량 절감이 아니다.
- 109M 대 72B 표가 보여 주는 것: 1억 900만 파라미터의 JEPA 텍스트 인코더가 한 이미지 정렬 지수에서 700억 규모의 대규모 언어 모델보다 높은 점수를 받았다.
- 확립되지 않은 것: 언어 품질이 향상되는지, 다른 팀이 같은 수치를 얻는지.
플라톤적 표현 가설이란 무엇인가?
이 가설(Huh 외)은 따로 학습한 모델이 서로 다른 종류의 데이터로 학습했더라도 세계에 대한 하나의 공통된 그림으로 수렴해 간다고 말한다. 관찰되었을 뿐 증명되지는 않았다. JEPA(joint-embedding predictive architecture, 결합 임베딩 예측 아키텍처)는 같은 대상의 관련된 두 "뷰"의 임베딩을 가깝게 만들도록 컨텍스트 인코더와 타깃 인코더를 학습한다. 여기서 "정렬"은 두 모델의 임베딩이 같은 항목을 같은 이웃 곁에 둔다는 뜻이다.
프리프린트의 주요 정리는 모든 모달리티가 양성 쌍의 같은 분포를 공유하고 최소해가 회전을 제외하고 유일하면 모든 인코더가 회전을 제외하고 일치한다는 것이다. 그 회전은 잘 배치된 약 k개의 쌍으로 찾을 수 있다.
중요한 것은 "좋은 뷰"와 "나쁜 뷰"의 구분이다. 좋은 뷰는 사진과 그 캡션처럼 한 장면의 두 관측이다. 나쁜 뷰는 한 문서의 두 조각이다. 저자들은 검증해야 할 가설로 제시하는 해석으로서, 다음 토큰 예측은 나쁜 뷰를 쓰는 JEPA이므로 언어 모델은 대규모에서야 비로소 시각과 정렬될 것이라고 주장한다.
출처: Balestriero와 LeCun, arXiv 2610.39302.
이 정리는 이상화된 최적해, 유한한 세계, 항등 예측기, 회전을 제외한 유일성을 가정한다. 학습되는 예측기를 가진 JEPA는 다루지 않는다.
"42분의 1"은 정확히 무엇을 측정하는가?
이 비교(4.2절)는 같은 1억 900만 파라미터 텍스트 인코더(BERT-B)와 같은 웹 이미지 캡션(Recap-DataComp)을 쓴다. 정렬은 WIT-1024에서 DINOv2 ViT-B에 대한 mutual 10-NN(상호 10 최근접 이웃) 지수로 측정한다. 좋은 뷰의 JEPA는 2,160만 샘플 뒤에 0.109를 기록한다. 다음 토큰 예측은 9억 샘플 뒤에 0.111을 기록한다. 비율은 900을 21.6으로 나눈 약 42이다.
출처: arXiv 2610.39302, 4.2절.
본문에서 확인되는 세 가지 단서가 있다. 두 실행은 학습률과 배치 크기가 다른 레시피를 쓴다. 다음 토큰 예측은 단일 체크포인트이며 대응하는 학습 곡선이 아니다. 그리고 세는 것은 계산량이 아니라 샘플 수이다. 샘플 수를 같은 2,160만으로 맞추면(3,300만 파라미터 인코더) 저자들은 더 큰 차이, 0.108 대 0.071을 보고한다.
대규모 언어 모델과 비교하면 어떤가?
같은 지수(WIT-1024와 DINOv2 ViT-B)에서 저자들의 표 3은 1억 900만 파라미터 JEPA에 0.184, Qwen2.5-72B에 0.154, Llama-3-70B에 0.151을 준다. CLIP B/32의 텍스트 인코더는 0.124, all-mpnet-base-v2는 0.118, 같은 텍스트에서의 다음 토큰 예측은 0.111, 나쁜 뷰의 JEPA는 0.088이다.
출처: arXiv 2610.39302, 표 3.
다른 지표도 같은 방향을 가리킨다. 선형 CKA는 0.507이고 Qwen2.5-72B는 0.418이다. COCO에서는 0.161 대 0.108이다. 그러나 JEPA가 모든 곳에서 이기는 것은 아니다. Flickr 이미지 검색(R@1)에서는 0.478로, 쌍으로 학습한 CLIP의 텍스트 인코더(0.489)와 all-mpnet(0.481)보다 약간 낮다. 초록은 또한 쌍 데이터 없이 ImageNet-100에서 제로샷 top-5 정확도 64%를 얻었고, 80억 파라미터까지의 언어 모델은 최대 56%였다고 보고한다.
저자들은 어떤 한계를 인정하는가?
SIGReg 가중치를 두 배로 한 네 번째 무작위 시드는 0.121을 냈고, 이로써 네 시드의 평균은 0.168이 되어 표의 어떤 언어 모델보다도 여전히 높다. 캡션 대부분을 쓴 모델은 CLIP ViT-L/14를 통해 이미지를 본다. WIT 캡션 1,024개 중 적어도 43개가 학습 텍스트에 나타나지만, 이를 제거해도 점수 변화는 0.002 미만이다. 9억 4,000만 샘플의 나쁜 뷰 JEPA는 단일 시드이다. 그래디언트 클리핑이 없으면 36회 실행 중 3회가 붕괴했다.
무엇이 확립되지 않았는가?
시각과의 정렬이 언어나 추론의 품질을 높인다는 것. 결과가 다른 레시피, 데이터셋, 지표에서도 유지된다는 것. 우리가 확인하지 못한 독립적인 재현과 동료 평가. 비교가 샘플 수로 이루어졌으므로 총 계산량. Startup Fortune(11월 1일)이 수치를 전했지만, 언론 출처는 이 하나뿐이다.
비교표
| 항목 | 2026년 11월 3일 기준 출처가 말하는 것 | 출처 |
|---|---|---|
| 정리 | 따로 학습한 JEPA는 이상화된 가정 아래에서 회전을 제외하고 일치한다 | arXiv 2610.39302 |
| 42x | 21.6M 샘플에서 0.109, 900M에서 0.111. 하나의 체크포인트, 서로 다른 레시피 | arXiv 2610.39302 |
| 109M 대 72B | DINOv2 ViT-B에 대한 mutual 10-NN 0.184 대 0.154(Qwen2.5-72B) | arXiv 2610.39302 |
| 재현 | 우리가 아는 한 보고 없음. 프리프린트 v1 | arXiv, Startup Fortune |
자주 묻는 질문
JEPA가 대규모 언어 모델을 이기는가?
확립되지 않았다. 측정 대상은 이미지 인코더와의 정렬이지 언어 품질이 아니다.
42배는 계산량 절감인가?
아니다. 단일 체크포인트에서 서로 다른 레시피로 학습 샘플 수를 센 것이다.
결과가 재현되었는가?
우리가 아는 한 아니다. 이것은 프리프린트의 버전 1이다.
방법과 한계
우리는 2026년 11월 3일에 초록과 HTML 버전의 자동 요약을 통해 프리프린트를 읽었다. 255,000자 중 약 100,000자이다. 6절과 7절, 부록, 5.2절의 끝부분은 읽지 않았다. 테스트를 수행하지 않았고 독립적인 검증도 찾지 못했으며, 투자 조언은 하지 않는다.
출처
- Balestriero and LeCun, Proving and Improving the Platonic Representation Hypothesis with JEPAs, arXiv 2610.39302 (October 29, 2026) (확인일: 2026-11-03)
- arXiv 2610.39302, HTML version (확인일: 2026-11-03)
- Startup Fortune (November 1, 2026), secondary source (확인일: 2026-11-03)
