확립
추측 디코딩(2023)
T5-XXL에서 출력은 같은 채 2~3배 빨라졌습니다. 모델을 다시 학습하거나 고칠 필요도 없습니다. 지금은 AI 서버의 표준 부품입니다.
출처: Leviathan, Kalman & Matias, Speculative Decoding (ICML 2023)
심화 · 제IV장
확인이 작성보다 싸다
스도쿠를 푸는 데는 시간이 걸리지만, 다 채운 판을 확인하는 데는 몇 초면 됩니다. 많은 문제에서 확인이 찾기보다 훨씬 쉽습니다. AI는 이 비대칭을 단어와 답 전체라는 두 규모에서 쓰기 시작했습니다.
핵심만 간단히
언어 모델은 한 번에 한 단어씩 쓰고, 단어마다 모든 가중치를 읽어야 합니다. 하지만 제안된 여러 단어를 확인하는 일은 한 번의 처리로 할 수 있고, 한 단어를 쓰는 것과 거의 같은 속도입니다. 그래서 작고 빠른 모델이 짐작하고, 큰 모델은 확인만 하게 합니다.
답 전체의 규모에서도 같은 비대칭이 성립합니다. 여러 번 시도하고, 검증기(테스트, 증명 검사기, 계산기)가 맞는 것을 고르게 하는 것입니다.
어떻게 작동하나
추측 디코딩(구글, 2023)에서는 작은 모델이 몇 단어를 제안하고, 큰 모델은 각 단어에 자기라면 줬을 확률을 동시에 계산합니다. 영리한 수용 규칙이 맞는 단어는 남기고 처음 틀린 단어는 다시 뽑아, 문장이 큰 모델 혼자 쓴 것과 완전히 같은 분포를 따르게 합니다.
작은 모델의 짐작이 잘 맞을수록 이득이 커집니다. 그래서 뒤이은 연구들은 큰 모델의 내부 상태를 쓰게 하는 등, 짐작을 더 잘하게 만드는 데 힘을 쏟습니다.
출처: Leviathan, Kalman & Matias, Speculative Decoding (ICML 2023)
그림 K — 초안을 쓰고, 확인한다
고양이가소파위에서뛰고있다자고
- 1. 작은 모델이 5단어를 초안으로 쓴다
- 2. 큰 모델이 한 번에 모두 확인한다
- 3. 3단어를 남기고 4번째를 고친다
4 단어를 큰 모델의 한 번 처리로 썼다
설명용 그림입니다. 개념을 보여 줄 뿐 측정값이 아닙니다.
검증의 두 규모
확립
EAGLE-3(2025)
초안을 쓰는 쪽은 별도의 모델이 아니라 큰 모델의 내부 층에 연결한 작은 머리입니다. 보고된 속도 향상은 최대 6.5배로 EAGLE-2보다 1.4배 좋고, 요청 64개를 함께 처리해도 처리량이 1.38배 늘었습니다.
유망
Large Language Monkeys: 여러 번 시도하고 확인하기(2024)
250번 시도하고 각 프로젝트 자체의 테스트를 검증기로 쓰자, 공개 모델이 실제 GitHub 문제(SWE-bench Lite)의 56%를 해결했습니다. 한 번에는 15.9%였고, 당시 한 번 시도의 최고 기록(43%)도 넘었습니다. 싼 모델의 다섯 번 시도는 비싼 모델의 한 번보다 쌌고, 더 많이 풀었습니다.
한계
모든 것이 검증기에 달려 있습니다. 테스트가 있는 코드나 수학 증명이라면 검증은 믿을 만합니다. 글이나 조언에는 자동 테스트가 없습니다. 다수결과 채점 모델은 수백 번 시도 뒤 정체되어, 완벽한 검증기라면 가능했을 수준에 한참 못 미칩니다. 그리고 추측 디코딩이 빠르게 하는 것은 쓰기이지 생각이 아닙니다. 큰 모델을 더 똑똑하게 만들지는 않습니다.
우리 가설에 주는 의미
검증은 H6의 다른 수단들을 받쳐 줍니다. 캐스케이드에는 심판이, 도구에는 테스트가 필요하고, 작은 모델도 누군가 일을 확인해 준다면 여러 번 시도할 수 있습니다. 우리 위계의 역할도 보입니다. 피라미드 위쪽의 규칙이 아래쪽 세부의 검증기가 될 수 있을지 모릅니다.
시험해 보고 싶은 것
답이 숫자나 날짜인 OrigoTech 기사에 대한 질문에서, 작은 모델에게 10번 답하게 하고 기사 본문 자체로 확인되는 답만 남겨 보고 싶습니다. 그 정확도를 큰 모델의 답 한 번과 비교합니다.