심화 · 제IV장
증류란 보통 작은 모델에게 큰 모델을 흉내 내도록 가르치는 것입니다. 다른 길도 있습니다. 큰 모델에게 문제를 푸는 프로그램을 쓰게 하고, 그 프로그램을 돌리는 것입니다. 프로그램은 돌리는 데 거의 비용이 들지 않고, 읽고 확인할 수도 있습니다.
많은 일은 값만 바뀐 채 되풀이됩니다. 날짜 변환, 회의 일정 맞추기, 규칙에 따른 목록 정렬 같은 것들입니다. 그때마다 큰 모델로 답하는 것은 같은 추론에 몇 번이고 돈을 내는 일입니다.
대신 지능을 한 번만 써서 도구, 곧 짧은 프로그램을 만들고 그것을 다시 씁니다. 덧셈할 때마다 수학자에게 묻는 것과, 한 번 세로셈 하는 법을 배우는 것의 차이입니다.
LATM(Large Language Models as Tool Makers, 구글 딥마인드와 프린스턴, 2023)에서는 강력한 모델이 도구 제작자가 됩니다. 몇 가지 예로부터 파이썬 함수를 쓰고, 시험하고, 사용법을 붙입니다. 가벼운 모델은 도구 사용자가 되어 문제의 종류를 알아보고 그 함수를 부릅니다.
도구는 함수 캐시에 보관됩니다. 답을 말로 저장하는 대신, 한 묶음의 질문 전체에 대해 답을 만드는 방법을 저장하는 것입니다.
출처: Cai et al., Large Language Models as Tool Makers (ICLR 2024)
그림 H — 한 번 내고, 그다음은 거의 공짜
큰 모델이 매번 답한다한 번 쓴 도구를 다시 쓴다도구를 쓰는 비용
설명용 그림입니다. 개념을 보여 줄 뿐 측정값이 아닙니다.
유망
어려운 추론 과제(Big-Bench)에서 GPT-4가 쓰고 GPT-3.5 Turbo가 사용한 도구는 GPT-4가 모든 일을 했을 때와 같은 결과를 냈습니다. 당시 GPT-4는 호출 한 번에 15배 넘게 비쌌습니다. 도구를 만드는 한 번의 비용은 사용할 때마다 나뉘어 집니다.
출처: Cai et al., Large Language Models as Tool Makers (ICLR 2024)
확립
구글 딥마인드는 Gemini 모델과 자동 평가기를 짝지어 프로그램 전체를 진화시킵니다. 구글 데이터센터용으로 찾아낸 작업 배치 규칙은 1년 넘게 돌아가며 구글 전 세계 연산 자원의 평균 0.7%를 되찾고 있습니다. Gemini의 핵심 연산도 23% 빨라져 전체 학습 시간이 1% 줄었습니다.
확립
복소수 4×4 행렬 두 개를 곱하는 데는 1969년 슈트라센의 방법 이후 곱셈 49번이 필요했습니다. AlphaEvolve는 48번으로 하는 방법을 찾았습니다. 작은 걸음이지만, AI 안에서 수십억 번 되풀이되는 연산에서의 걸음입니다. 여기서는 프로그램이 곧 증류된 지식입니다. 정확하고, 읽을 수 있고, 검증할 수 있습니다.
모든 것이 프로그램에 담기지는 않습니다. 시를 번역하거나 반어를 알아채는 일은 규칙으로 줄어들지 않고, 바로 거기서 큰 모델이 빛납니다. 도구는 검증도 필요합니다. 잘못된 도구는 쓸 때마다 조용히 틀립니다. 그래서 AlphaEvolve는 자동 평가기가 시도마다 점수를 매길 수 있는 곳에서만 작동합니다.
이 길은 H3 '규칙 + 예외 = 압축'과 통합니다. 프로그램은 규칙의 가장 작은 형태로, 몇 줄이 수천 개의 예를 대신합니다. 프로그램이 다루지 못하는 것은 예외가 되어 모델에게 맡겨집니다.
OrigoTech에서 자주 되풀이되는 질문(환율 계산, 백분율, 날짜)을 찾아, 큰 모델에게 함수마다 한 번씩 쓰게 한 뒤, 모델 없이 함수만으로 바르게 답하는 질문이 몇 개인지 세어 보고 싶습니다.