곡선의 모양 바꾸기
보통 데이터를 늘려도 오차는 천천히 줄어듭니다('거듭제곱 법칙'). Sorscher 등은 좋은 솎아 내기 척도가 있으면 오차가 지수적으로, 즉 훨씬 빠르게 줄어들 수 있음을 보였습니다. 레이블조차 필요 없는 저렴한 척도로 이미지 분야(CIFAR-10, ImageNet)에서 시험했습니다.
출처: Sorscher et al., Beyond neural scaling laws (NeurIPS 2022)
심화 · 제II장
똑똑하게 버리기
도서관은 책이 많다고 좋은 것이 아닙니다. 중복된 책, 찢어진 쪽, 이미 외우고 있는 책을 치워야 좋아집니다. AI의 데이터에도 같은 일을 할 수 있을까요?
핵심만 간단히
대규모 말뭉치는 웹에서 옵니다. 반복이 많고, 의미 없는 페이지와 거의 똑같은 글이 넘쳐납니다. 쓸모없는 글 하나하나가 연산과 에너지를 쓰고, 제I부에서 보았듯 모델의 기억 용량까지 차지합니다.
솎아 낸다는 것은 무엇을 남길지 고르는 일입니다. 물어야 할 것은 '데이터가 얼마나 많은가'가 아니라 '어떤 데이터인가'입니다.
체로 거르는 세 가지 방법
잡음 걸러 내기: 작은 분류기가 글마다 점수(예를 들어 교육적 가치)를 매기고, 가장 좋은 것만 남깁니다. 의미 중복 걸러 내기: 의미가 가까운 글끼리 이웃하는 공간에 각 글을 배치하고, 묶음마다 대표 하나만 남깁니다. 모델이 이미 아는 것 걸러 내기: 아직 무언가를 가르쳐 주는 예시만 남깁니다.
모든 것은 척도에 달려 있습니다. 좋은 점수라면 아무것도 잃지 않고 많이 버릴 수 있지만, 나쁜 점수라면 보물까지 버리게 됩니다.
그림 B — 체
- 100 % 말뭉치 전체
- 73 % 잡음 제거
- 46 % 중복 제거
유용 중복 잡음
설명용 그림입니다. 개념을 보여 줄 뿐 측정값이 아닙니다.
연구가 보여 준 것
쉬운 예시냐, 어려운 예시냐? 상황에 따라 다르다
미묘한 결과입니다. 데이터가 적을 때는 쉬운 예시를, 많을 때는 어려운 예시를 남기는 편이 낫습니다. 다시 말해 기초가 잡히고 나면, 가장 많은 것을 가르쳐 주는 것은 드물고 어려운 사례입니다.
출처: Sorscher et al., Beyond neural scaling laws (NeurIPS 2022)
의미 중복
SemDeDup(Meta)은 의미가 거의 같은 글이나 이미지를 걸러 냅니다. 대규모 이미지 말뭉치에서 데이터의 50%를 걸러 내도 성능은 거의 떨어지지 않았고, 학습 시간은 절반으로 줄었습니다. 텍스트(C4)에서는 효율이 약 15% 높아졌습니다.
'교육적 가치' 필터
FineWeb-Edu(Hugging Face)는 Llama 3 70B의 판단으로 학습시킨 작은 모델로 웹 페이지마다 교육적 가치를 0~5점으로 매깁니다. 3점 이상만 남기면 15조 토큰 가운데 1.3조 토큰이 남습니다. 그 결과 380억 토큰만으로 MMLU 33.6%에 도달했는데, 가장 강한 경쟁 데이터는 같은 수준에 3,000억 토큰이 필요했습니다.
출처: Penedo et al., The FineWeb Datasets (Hugging Face, 2024)
한계
필터에는 그것을 학습시킨 이의 취향이 담깁니다. FineWeb-Edu의 필터는 학교에서 다룰 법한 주제와 격식 있는 글을 확연히 선호합니다. 품질은 얻지만 다양성은 잃습니다. 아주 긴 학습에는 충분한 양의 고유한 글도 필요한데, 너무 엄격한 필터는 결국 이것이 모자라게 됩니다. 마지막으로, 지수 곡선에 관한 극적인 결과 대부분은 이미지에서 나온 것이고, 대규모 텍스트에서는 아직 확인되지 않았습니다.
출처: Penedo et al., The FineWeb Datasets (Hugging Face, 2024)
우리 가설에 주는 의미
'적을 때는 쉬운 예시, 많을 때는 어려운 예시'라는 결과는 H3와 H4를 직접 뒷받침합니다. 규칙을 익히고 나면 예외가 금이 됩니다. 좋은 솎아 내기는 우리의 압축 아이디어와 닮았습니다. 규칙과 규칙을 벗어나는 것은 남기고, 나머지는 버리는 것입니다. 아직 없는 것은 귀중한 예외와 단순한 잡음을 구별하는 척도입니다. 둘 다 '놀랍게' 보이기 때문입니다.
시험해 보고 싶은 것
작은 말뭉치에서 세 가지 체를 비교합니다. 품질로 거르는 체, 의미 중복으로 거르는 체, 그리고 묶음마다 전형적인 예시 하나에 더해 그것에서 벗어나는 사례를 모두 남기는 '규칙 + 예외' 체입니다. 어느 쪽이 드문 사례를 가장 잘 지키는지 살펴봅니다.