순서대로 배우기

지금은 수십억 편의 학습용 글을 무작위로 섞어 한 번씩만 읽힙니다. 어린이용 글 바로 뒤에 고급 수학 논문이 올 수도 있습니다.

2009년 요슈아 벤지오가 제안한 커리큘럼 학습은 학교의 직관에서 출발합니다. 쉬운 것부터 시작해 조금씩 올라가는 것입니다. 이것은 시간 속의 위계입니다. 데이터는 그대로 두고 순서만 바꿉니다.

세 가지 재료가 필요합니다. 난이도 척도: 기계는 무엇이 '어려운지' 모르므로 계산할 수 있는 지표가 있어야 합니다. 진행 속도: 쉬운 것에서 어려운 것으로 단번에 넘어갈지, 완만하게 올라갈지 정해야 합니다. 시점: 학습 전체를 정렬할지, 처음 부분만 정렬할지 정해야 합니다.

Zhang 등의 연구(EACL 2026)는 15가지 척도를 검토해 6가지를 남겼습니다. 가장 쓸모 있었던 것은 압축률(잘 압축되는 글은 반복이 많으니 쉽다), 어휘의 다양성(MTLD), 글의 길이입니다. 모델이 얼마나 놀라는지를 나타내는 퍼플렉시티는 처음에는 도움이 되지만 나중에는 결과를 떨어뜨립니다. '놀라운' 글의 상당수는 그저 잡음이기 때문입니다.

출처: Zhang et al., Beyond Random Sampling (EACL 2026)

200회가 넘는 학습을 진행했습니다. 주로 매개변수 5억 개 모델과 100억 토큰을 썼고, 매개변수 10억 개 모델로도 확인했습니다.

연구소들은 학교 교육 과정과 반대로 하는 경우가 많습니다. 가장 좋은 데이터를 마지막에 남겨 두는 것입니다. OLMo 2(Ai2)는 전체 연산의 마지막 5~10%를 수학, 과학, 질의응답 같은 고품질 데이터 학습에 씁니다. 이를 미드 트레이닝 또는 '어닐링'이라고 부릅니다.

하지만 이 배치에도 논란이 있습니다. 2025년의 한 연구는 맨 마지막이 항상 최선의 시점은 아니라는 것을 보였습니다. 이 연구는 수학 문제로 어닐링한 것이 매개변수 80억 개짜리 Llama 3에는 효과가 있었지만 4,050억 개짜리에는 효과가 없었던 이유도 설명합니다. 좋은 순서는 데이터만이 아니라 학습의 어느 시점이냐에 따라서도 달라집니다.

출처: OLMo et al., 2 OLMo 2 Furious (Ai2, 2025), Predicting Training Re-evaluation Curves (2025)

이 결과들은 중간 규모 모델에서, 그것도 영어로만 얻은 것입니다. 난이도는 학습 전에 한 번만 계산되므로, 모델이 이미 아는 것에 맞춰 달라지지 않습니다. 효과는 분명하지만 몇 퍼센트 수준에 머뭅니다.

가설 H1에 대한 조심스러운 지지입니다. 데이터를 구조화하면 특히 초반에 도움이 됩니다. 하지만 여기서 잰 '난이도'에는 한 가지 차원(짧은지 긴지, 단순한지 다양한지)밖에 없습니다. 우리의 생각은 더 풍부합니다. 추상화의 단계(관찰, 사실, 규칙, 원리)입니다. 우리가 아는 한, 이 단계에 따라 학습 순서를 정한 사람은 아직 없습니다.

H1 · 데이터 욕구의 일부는 위계가 없어서 생긴다 (55 %)

미니 모델로 정반대의 두 교육 과정을 비교합니다. 먼저 예시, 나중에 규칙(아이처럼)과 먼저 규칙, 나중에 예시(교과서처럼)입니다. 그리고 적응형 교육 과정도 시험합니다. 모델이 이미 아는 것을 재고 다음 계단을 주는 방식입니다.