Large Concept Models(Meta)
생각의 단위가 문장 전체가 됩니다. 문장은 200개의 문자 언어와 76개의 음성 언어가 공유하는 의미 공간 SONAR에 놓입니다. 모델은 다음 단어가 아니라 다음 생각을 예측합니다. 다국어 요약에서는 같은 크기의 Llama 3.1을 앞서지만, 유창함은 떨어집니다.
심화 · 제II장
단어가 아니라 개념으로 생각하기
기존 모델은 고정된 사전으로 미리 잘라 둔, 모두 같은 종류의 작은 조각으로 글을 읽습니다. 우리는 글자를 읽고, 그다음 단어를, 그다음 생각을 읽습니다. 모델이 이런 층을 스스로 쌓는다면 어떨까요?
핵심만 간단히
학습 전에 토크나이저라는 도구가 고정된 사전에 따라 글을 '토큰'으로 자릅니다. 모델은 글자를 보지 못하고, 그 토큰보다 높은 층에서 생각하지도 않습니다. 모든 일이 한 층에서만 일어납니다.
이 페이지에서 소개하는 연구들은 층을 더하고, 무엇보다 어디서 자를지 모델이 스스로 정하게 합니다.
작동 방식
작업장이 세 개인 공장을 떠올려 보세요. 작은 작업장이 글을 한 글자씩 읽고, 글자를 조각으로 묶어 그 꾸러미를 커다란 중앙 작업장에 넘깁니다. 중앙 작업장은 훨씬 짧아진 순서열을 놓고 생각하는 일의 대부분을 맡습니다. 마지막 작은 작업장은 결과를 다시 한 글자씩 풀어냅니다.
이득은 가장 비싼 중앙 작업장이 다루는 요소가 줄어든다는 점입니다. 게다가 자르는 방식은 내용에 따라 달라집니다. 예측하기 쉬운 부분은 큰 조각이 되고, 어려운 부분은 잘게 잘립니다. 계산은 정보가 있는 곳으로 갑니다.
그림 C — 글자에서 생각으로
생각
지식을 정리그리고 배우기
조각
지식은배우기전에정리된다
글자
지식은배우기전에정리된다
설명용 그림입니다. 개념을 보여 줄 뿐 측정값이 아닙니다.
세 모델, 세 층
Byte Latent Transformer(Meta)
사전은 더 이상 없습니다. 모델은 바이트를 읽고, 다음 내용을 예측하기 어려워지는 지점에서 끊어 크기가 다른 '패치'로 묶습니다. 매개변수 80억 개, 4조 바이트 규모까지 처음으로 토큰 기반 모델과 대등해졌고, 추론 비용이 같을 때 규모를 키울수록 더 좋은 결과를 냅니다.
출처: Pagnoni et al., Byte Latent Transformer (Meta, ACL 2025)
H-Net(카네기멜런대, Cartesia)
자르는 방식을 규칙 없이 전부 학습합니다. 모델은 스스로 기존 토큰과 비슷한 약 4.5~5바이트 크기의 조각을 만들어 냅니다. 2층 구조로는 두 배 크기의 토큰 모델과 대등했고, DNA에서는 데이터 효율이 약 4배 높았습니다.
우리에게 왜 중요한가
이것은 바로 우리의 결론 IV가 제시한 길입니다. 강요하지 않고 학습시키는 위계입니다. 토크나이저는 사람이 손으로 쓴 규칙이었는데, H-Net은 이를 학습으로 대체합니다. 서튼의 '쓰라린 교훈'을 위계 자체에 적용한 셈입니다.
그리고 이것은 절약의 길이기도 합니다. 난이도에 따라 계산을 나누면 예측하기 쉬운 부분에 드는 비용이 줄어듭니다.
한계
이런 구조는 학습시키기가 더 까다롭습니다. 순서열의 길이가 일정하지 않고, 층마다 따로 설정이 필요합니다. 시험한 규모도 매개변수 수십억 개 수준까지로, 가장 큰 모델들과는 거리가 멉니다. LCM은 아직 유창함에서 막히고, 스스로 학습하지 않는 고정된 의미 공간(SONAR)에 기대고 있습니다.
우리 가설에 주는 의미
H1을 뒷받침합니다. 명시적인 구조를 주면(또는 스스로 쌓게 하면) 학습이 더 효율적이 됩니다. 기존의 자르기 방식이 잘 맞지 않는 DNA, 중국어, 코드에서는 그 차이가 뚜렷합니다. 그리고 H5와도 이어집니다. LCM의 '생각'은 연속적인 공간에 놓이며, 한 문장이 여러 계열 가까이에 자리합니다. 나무보다는 그래프에 가까운 모습입니다.
시험해 보고 싶은 것
층을 하나 더 쌓아 봅니다. 글자에서 조각으로(H-Net), 조각에서 생각으로(LCM), 생각에서 규칙으로. 맨 위층은 가설 H2에서 말한 모델의 압축된 기억이 될 것입니다.