내일의 AI 용어집
KO

← 노트로 돌아가기

심화 · 제V장

모델을 번역해 필요한 것만 남길 수 있을까?

출발점이 된 생각: 만약 번역기가 필요한 것만 남기고 모델을 새 언어로, 새 하네스에 맞게 다시 쓴다면? 이 생각에는 어려움이 전혀 다른 세 가지가 섞여 있습니다. 아무것도 잃지 않고 번역하기, 쓰지 않는 부분 잘라 내기, 그리고 신경망을 진짜 코드로 다시 쓰기입니다. 각각에서 무엇을 얻을 수 있는지, 두 번째가 왜 중첩이라는 현상에 부딪히는지, 하이브리드 번역기가 얼마나 아낄 수 있는지, 그리고 여기서 직접 한 실험이 무엇을 보여 주었는지 살펴봅니다.

유망 업데이트

I

생각을 간단히

라틴어로 쓰인 천 쪽짜리 요리책을 떠올려 보세요. 당신은 디저트만 만들고 싶습니다. 솜씨 좋은 번역가라면 점점 대담해지는 세 가지를 할 수 있습니다. 하나: 아무것도 빼지 않고 책 전체를 한국어로 옮긴다. 더 빨리 읽을 수 있고, 잃는 것은 없습니다. 둘: 디저트 장만 옮긴다. 책은 얇아지지만, 어떤 디저트에 '파트 브리제, 212쪽 참조'라고 적혀 있으면 막힙니다. 셋: 규칙을 따르는 레시피를 공식으로 바꾸고('밀가루 100g당 달걀 1개'), 예외만 글로 남긴다.

AI 모델도 마찬가지입니다. '언어'는 모델이 쓰인 형식이고, 하네스는 그것을 돌리는 프로그램(평범한 컴퓨터에서 도는 llama.cpp 같은 것)이며, 번역기는 하나에서 다른 하나로 옮기면서 최적화하는 도구입니다.

II

확실한 것부터 꿈까지, 세 단계

세 단계는 어려움이 전혀 다릅니다. 첫째는 이미 어디에나 있고, 둘째는 절반쯤 되며, 셋째는 장난감에서만 됩니다.

확립

1단계 · 아무것도 잃지 않고 번역하기: 컴파일

컴파일러가 하는 일입니다. 같은 계산을 더 효율적으로 실행합니다. 연산을 합치고, 가중치를 더 적은 비트로 반올림하고, 계산을 칩에 맞춥니다. 답을 바꾸지 않고(저정밀도라면 거의 바꾸지 않고) 1.5~3배 빨라지는 일은 흔합니다. 어떤 칩은 규칙적인 무늬(네 개 중 두 개가 0)를 따르는 0 가중치를 이용해 계산을 최대 두 배까지 빠르게 합니다.

출처: Mishra et al., Accelerating Sparse Deep Neural Networks (NVIDIA, 2021)

확립

2단계 · 필요한 것만 남기기: 가지치기

SparseGPT는 가장 큰 공개 모델의 가중치 절반을 한 번에 0으로 만들면서도 품질 저하가 거의 보이지 않습니다. Wanda는 더 단순한 규칙으로 같은 일을 해냅니다. 가중치가 크고 동시에 강한 신호를 받으면 중요하다는 규칙입니다. 이 방법들은 범용 모델을 겨냥합니다. 좁은 과제라면 훨씬 더 많이 잘라 낼 수 있으리라 기대합니다. 어려움은 거기서 시작됩니다.

출처: Frantar & Alistarh, SparseGPT: Massive Language Models Can Be Accurately Pruned in One-Shot (ICML 2023), Sun et al., A Simple and Effective Pruning Approach for Large Language Models (Wanda, ICLR 2024)

추측

3단계 · 신경망을 진짜 코드로 다시 쓰기: 디컴파일

반대 방향은 이미 됩니다. DeepMind의 Tracr는 작은 프로그램을 트랜스포머 가중치로 컴파일합니다. 또 작은 트랜스포머를 읽을 수 있는 파이썬 프로그램으로 되돌릴 수 있게 학습시키는 방법도 알려져 있습니다. 하지만 80억 매개변수 모델을 읽어 코드를 뽑아내는 일은 아무도 해내지 못했습니다. 그 이유에는 이름이 있습니다.

출처: Lindner et al., Tracr: Compiled Transformers as a Laboratory for Interpretability (NeurIPS 2023), Friedman et al., Learning Transformer Programs (NeurIPS 2023)

III

장애물: 중첩

우리는 신경망을 서랍장처럼 떠올립니다. 화학 서랍, 문법 서랍, 덧셈 서랍. 맞는 서랍만 남기면 될 것 같습니다. 하지만 실제로는 그렇게 돌아가지 않습니다.

신경망의 뉴런 수는 나타내야 할 개념 수보다 적습니다. 그래서 신경망은 개념을 겹쳐 담습니다. 뉴런 하나가 수십 개의 개념에 동시에 관여하고, 개념 하나는 수십 개의 뉴런에 퍼져 있습니다. 합창단에서 섞이는 목소리처럼요. Anthropic의 Elhage 등은 장난감 모델에서 이를 보였습니다. 개념이 드물면 신경망은 자기 차원 수보다 훨씬 많은 개념을 담아 둡니다.

우리 번역기에 미치는 직접적인 결과는 이렇습니다. 목표 과제에는 '쓸모없는' 가중치가, 그 과제가 드러나지 않게 기대고 있는 다른 능력의 한 조각을 맡고 있을 수 있습니다. 게다가 사용자가 내일 어떤 질문을 할지는 미리 알 수 없습니다. 그러니 과제에 맞춰 자르는 것은 내기입니다. 질문이 예상한 길 안에 머물면 크게 얻고, 벗어나면 잃습니다.

출처: Elhage et al., Toy Models of Superposition (Anthropic, 2022)

IV

현실적인 해법: 하이브리드 번역기

모두 남기거나 모두 자르는 것 사이에서 고르는 대신, 번역기는 세 무더기를 만듭니다. 규칙을 따르는 것(계산, 날짜, 형식, 단위 변환)은 코드가 됩니다. 정확하고, 거의 공짜이며, 본 적 없는 예에도 통합니다. 모호한 것(언어, 뉘앙스, 상식)은 과제에 맞게 가지치기한 전문가 안에 신경망으로 남습니다. 길을 벗어난 것은 전체 모델로 돌려보냅니다. 비상구입니다.

여기서 노트의 두 생각이 만납니다. 확인할 수 있는 곳에서 '규칙 + 예외 = 압축'이라는 H3, 그리고 작은 모델이 망설이면 바통을 넘기는 단계적 호출입니다. 번역기는 새로운 길이 아니라 그것들을 조립하는 도구입니다.

V

계산: 번역기는 언제 남는 장사인가

숫자 세 개를 정합니다. p는 코드로 보낼 수 있는 질문의 비율로, 20%라고 합시다. s는 가지치기한 전문가의 비용으로, 전체 모델에 대한 비율입니다. f는 다시 부르는 비율, 곧 전문가가 망설여 전체 모델을 다시 부르는 질문의 비율입니다. 다시 부르면 둘 다 비용을 냅니다.

질문 하나의 평균 비용은 (1 − p) × (s + f)입니다. 비용 50%인 전문가에 다시 부르기 10%라면 0.8 × (0.5 + 0.1) = 0.48, 비용은 2.1분의 1이 됩니다. 1.5배 빨라지는 1단계 컴파일을 더하면 0.48 ÷ 1.5 = 0.32, 곧 처음 비용의 3분의 1입니다.

한계는 어디일까요? (1 − p) × (s + f)가 1에 이르면 이득이 사라집니다. s = 0.5라면 전부 잃는 데 f = 1 ÷ 0.8 − 0.5 = 75%의 다시 부르기가 필요하니, 이 구조는 튼튼합니다. 하지만 절반으로 줄이려면 f ≤ 0.5 ÷ 0.8 − 0.5 = 12.5%여야 합니다. 비용 30%인 전문가라면 여유가 32.5%로 늘고, 비용 70%인 전문가라면 절반으로 줄이기는 불가능합니다. 그림의 교훈을 기억하세요. 가장 중요한 것은 전문가의 크기가 아니라, 자기가 모르는 것을 알아차리는 능력입니다.

그림 P — 하이브리드 번역기의 비용

비용 30%인 전문가: 다시 부르기가 32.5% 아래면 절반비용 50%인 전문가: 다시 부르기가 12.5% 아래면 절반비용 70%인 전문가: 절반이 되지 않음

설명용 그림입니다. 개념을 보여 줄 뿐 측정값이 아닙니다.

측정이 아니라 계산입니다. 질문의 20%는 코드로 가서 비용이 거의 들지 않습니다. 나머지 80%는 가지치기한 전문가가 맡고, 망설일 때는 전체 모델을 다시 불러 둘 다 비용을 냅니다. 비용 = 0.8 × (전문가 비용 + 다시 부르는 비율). 전문가가 완벽할 필요는 없습니다. 무엇보다 자기가 모를 때 그 사실을 알아야 합니다.
VI

H10, 처음부터 고리로 쪼개져 태어나다

'가설을 시험대에' 페이지에서 약속했듯이, 새 가설은 모두 고리로 쪼갠 채로 들어옵니다. H10은 이렇습니다. 번역기는 모델을 새 하네스에 맞게 다시 쓰고 과제에 맞게 재단해서, 그 과제에서 눈에 띄는 손실 없이 비용을 적어도 절반으로 줄일 수 있다.

고리 a, 95%: 손실 없는 번역과 컴파일은 통한다. 오늘날 이미 그렇습니다. 고리 b, 65%: 그것을 전제로, 비상구를 둔 채 과제에 맞춰 자르면 눈에 띄는 손실 없이 비용을 적어도 절반으로 줄인다. 이 고리는 중첩과 다시 부르는 비율에 달려 있습니다. 계산: 0.95 × 0.65 = 62%.

야심 찬 형태에는 고리 c, 20%가 더해집니다. 큰 모델의 상당 부분을 진짜 코드로 다시 쓸 수 있다는 것입니다. 그 값은 0.95 × 0.65 × 0.2 ≈ 12%에 그칩니다. 이것은 가설이 아니라 질문으로 남겨 둡니다.

VII

여기서 한 실험과 우리의 예측

우리에게는 그래픽카드가 없고, 프로세서 코어 두 개뿐입니다. 그래서 실험은 작은 규모로, 하지만 진짜로 했습니다. 매개변수 80만 개짜리 작은 트랜스포머를 두 과제를 섞어 여기서 학습시켰습니다. A, 규칙: 두 자리 덧셈이며, 20%는 시험용으로 따로 두었습니다. B, 예외가 있는 어휘: 지어낸 단어 600개의 복수형으로, 80%는 규칙적(+s), 20%는 불규칙이라 외워야 합니다. 여기에 한 번도 보여 주지 않은 새 단어 150개를 더했습니다.

그다음 세 단계입니다. 1단계: 따로 작성한 NumPy 하네스가 가중치를 다시 읽어 32비트, 이어서 8비트로 돌립니다. 2단계: 과제 A만으로 맞춘 Wanda 가지치기로 가중치의 25~90%를 0으로 만들고, 이어서 뉴런을 통째로 없앱니다. 3단계: 모델의 행동을 보고 각 과제를 재현하는 단순한 프로그램을 찾습니다. 프로그램이 설명하지 못하는 부분은 예외 표가 됩니다.

우리의 예측은 틀렸음을 지적받을 수 있도록 첫 실행 전에 저장소에 기록했습니다. 주요 예측은 이렇습니다. NumPy 하네스는 적어도 99.9% 같은 답을 낸다. 50%를 가지치기해도 덧셈은 정확도의 95% 이상을 지킨다. 70%를 넘으면 어휘가 덧셈보다 더 크게 다친다. 프로그램 'a + b'는 모델 답의 적어도 99%를 재현한다. 규칙 '+s'는 80% ± 5를 재현한다. 그리고 본 적 없는 세 자리 덧셈에서 모델은 거의 늘 실패하고, 코드는 모두 맞힌다.

VIII

결과: 여덟 예측 중 일곱 적중

모델(매개변수 805,929개)은 코어 두 개로 20분 동안 학습했습니다. 출발점에서 본 적 없는 덧셈은 100%, 외운 단어 600개는 100%였지만, 새 단어 150개에서는 83.3%에 그쳤습니다. 's'만 붙이면 되는데도 말이지요. 신경망은 규칙을 잡았지만 완벽하지는 않았습니다. 그리고 세 자리 덧셈에서는 0%. 덧셈을 일반적으로 이해한 것이 아니라, 본 덧셈만 익혔던 것입니다.

확립

1단계 · 번역: 통하지만 빨라지지는 않는다

따로 작성한 NumPy 하네스는 100% 같은 답을 냈습니다. 8비트에서는 답의 99.96%가 그대로였고 정확도는 0.1포인트도 움직이지 않았으며, 크기는 3.7분의 1(3.2MB → 0.87MB)이 되었습니다. 하지만 최적화하지 않은 단순한 하네스는 PyTorch보다 7.7배 느립니다. 번역한다고 마법처럼 빨라지지는 않습니다. 속도는 컴파일러의 작업에서 나옵니다.

유망

2단계 · 가지치기: 빗나간 예측 하나, 분명한 교훈 하나

덧셈을 기준으로 가중치의 50%를 없애자 덧셈은 93.5%를 지켰습니다. 예측은 95% 이상이었으니 아슬아슬하게 빗나갔습니다. 60%에서는 덧셈이 71.9%, 어휘가 45.2%로, 70%에서는 18.2% 대 3.0%로 떨어졌습니다. 덧셈에 쓸모없어 보이던 것이 어휘를 떠받치고 있었던 것이지요. 예측대로입니다. 어휘를 기준으로 하면 반대가 되어, 70%에서 어휘는 39.5%를 지키고 덧셈은 5.5%로 떨어집니다. 덧셈을 기준으로 고른 MLP 층 뉴런의 절반을 없애면 덧셈은 95.9%를 지키고 어휘는 22포인트를 잃습니다.

유망

3단계 · 디컴파일: 놀라움

프로그램 'a + b'는 모델의 답 1만 개 중 99.99%를 재현했습니다(차이는 단 하나). 규칙 '+s'는 80.17%를 재현했고, 예외 표는 119단어가 되었습니다. 불규칙 단어 120개 중 119개이고, 남은 하나는 우연히 's'로 끝났습니다. 하이브리드 모델은 어디서나 100%였고, 신경망이 실패한 곳에서도 그랬습니다. 새 단어에서 100%(신경망은 83.3%), 세 자리 덧셈에서 100%(신경망은 0%). 이 두 과제에서는 코드 두 줄과 1,071바이트짜리 표가 3.2MB 모델을 대신합니다.

IX

실험이 바꾼 것

여덟 예측 중 일곱이 맞았습니다. 빗나간 하나는 가지치기에 관한 것으로, 차이는 1.5포인트였습니다. 의심의 자리가 바뀌었습니다. 가지치기만으로는 실망스럽습니다. 과제가 잘 나뉜 아주 작은 모델에서도 가중치 절반을 없애면 벌써 몇 포인트를 잃고, 전문가의 이점은 목표 과제마저 무너지는 비율에서야 드러납니다. 이것이 측정된 중첩입니다.

반대로 규칙 꺼내기는 놀라웠습니다. 코드는 신경망을 흉내 내는 데 그치지 않고, 신경망이 일반화를 잘 못한 곳에서 그것을 앞질렀습니다. 신경망은 규칙을 대충 익히지만, 일단 적어 낸 규칙은 어디서나 통합니다. 이것이 하이브리드 번역기를 지지하는 가장 강한 근거입니다.

H10을 움직여야 할까요? 우리 규칙대로라면 숫자는 고리가 바뀔 때만 바뀝니다. 그리고 매개변수 80만 개짜리 장난감 모델은 80억 매개변수 모델에 대해 거의 아무것도 말해 주지 않습니다. H10은 62%로 두고, 단서가 가리키는 방향만 적어 둡니다. 고리 b 안에서 '자르기' 길은 가벼워지고 '코드로 바꾸기' 길은 무거워졌습니다. 다음 단계는 섞인 질문으로 진짜 작은 언어 모델에서 같은 실험을 하는 것입니다.

X

두 번째 판: 진짜 작은 언어 모델

장난감으로는 부족했습니다. 그래서 모델을 내려받을 수 있는 개인 컴퓨터에서, 매개변수 1억 3500만 개짜리 진짜 언어 모델 SmolLM2-135M으로 실험을 다시 했습니다. 분야는 셋입니다. 파이썬 코드, 산문(WikiText-2), 그리고 예시 세 개 뒤에 낸 두 자리 덧셈 200문제입니다. 예측은 일곱 개이며, 실행 전에 저장소에 기록했습니다. 계산에는 6분이 걸렸습니다.

출발점에서 모델은 코드를 잘 예측하고(퍼플렉서티 5.1: 평균적으로 다섯 단어 사이에서 망설이는 정도), 산문은 그보다 못하며(20.5), 덧셈은 14%만 맞힙니다. 반면 코드는 100%를 맞힙니다.

출처: Frantar & Alistarh, SparseGPT: Massive Language Models Can Be Accurately Pruned in One-Shot (ICML 2023), Sun et al., A Simple and Effective Pruning Approach for Large Language Models (Wanda, ICLR 2024)

확립

8비트로 번역: 거의 손실 없음, 그래도 빗나간 예측 하나

퍼플렉서티는 코드에서 0.4%, 산문에서 0.5% 움직였습니다. 크기는 538MB에서 220MB가 되었습니다(2.45분의 1, 어휘는 32비트로 남음). 하지만 덧셈 답이 그대로인 경우는 85.5%뿐이었고, 예측은 95% 이상이었습니다. 모델이 망설이는 질문에서는 아주 작은 반올림만으로도 답이 바뀝니다.

유망

가지치기: 전문가는 있지만 비싸다

코드를 기준으로 50%를 잘라 내자 코드의 퍼플렉서티는 56% 올랐고(예측: 최소 20%), 산문의 퍼플렉서티는 2.6배가 되었으며, 덧셈은 0%로 떨어졌습니다. 한 분야로 맞추면 그 분야는 잘 지켜집니다. 코드는 코드 기준으로 자른 쪽(7.9)이 산문 기준(10.3)보다 낫고, 산문은 산문 기준(44)이 코드 기준(52)보다 낫습니다. 하지만 '산문으로 맞추면 코드가 가장 크게 다친다'는 예측은 50%와 60%에서 빗나갔습니다. 산문은 워낙 넓은 분야라서, 산문 전문가는 결국 제너럴리스트로 남는 것입니다.

유망

모를 때 아는가: 신호는 있지만 여유는 없다

50% 가지치기한 전문가를 코드에서 전체 모델 손실의 5% 이내로 되돌리려면, 전문가의 망설임을 믿을 때 글 조각의 76.6%에서 전체 모델을 다시 불러야 합니다. 무작위로 고르면 83.3%, 완벽한 나침반이면 73.4%입니다. 망설임은 좋은 길잡이로, 완벽한 나침반에 거의 맞먹습니다. 그래도 네 번에 세 번은 다시 불러야 하고, 우리의 예측은 최대 60%였습니다.

XI

두 번째 판이 바꾼 것

일곱 예측 중 넷이 맞았습니다. 빗나간 셋은 같은 이야기를 합니다. 작은 모델에는 여유가 없습니다. 반올림하면 망설이고, 가지치기하면 모든 곳이 다치며, 자기가 망설이는 것을 아는 전문가조차 거의 언제나 바통을 넘겨야 합니다.

실제 숫자로 그림 P를 다시 계산해 봅시다. 비용 50%인 전문가가 77%의 비율로 전체 모델을 다시 부르면 비용은 0.8 × (0.5 + 0.77) ≈ 1.01입니다. 아무것도 하지 않는 것보다 비쌉니다. 이 크기에서 '자르기' 길은 아무것도 주지 않습니다. 반면 '코드로 바꾸기' 길은 버팁니다. 덧셈은 14%에서 100%가 되었습니다.

이번에는 우리 규칙대로 고리가 움직입니다. 고리 b는 65%에서 55%로, H10은 62%에서 0.95 × 0.55 ≈ 52%로 내려갑니다. 더 낮추지는 않습니다. 큰 모델은 작은 모델보다 훨씬 잘 가지치기된다는 것을 SparseGPT와 Wanda가 보여 주기 때문입니다. 그래서 결정적인 질문은 이렇게 바뀝니다. 가지치기한 전문가가 비용보다 더 많은 이득을 주는 것은 어떤 크기부터일까? 그것이 세 번째 판입니다.

XII

3라운드: 모델이 더 크다면?

2라운드는 질문 하나를 남겼습니다. 가지치기한 전문가는 가망이 없는 걸까요, 아니면 너무 작을 뿐일까요? 같은 계열의 모델 세 개, SmolLM2 1억 3500만, 3억 6000만, 17억 파라미터 모델을 골라 셋 모두 같은 절차로 시험했습니다. 코드, 산문, 덧셈, 25 %와 50 % 가지치기, 그리고 망설임 측정입니다. 예측은 일곱 개이며 실행 전에 기록했습니다. 전체가 Mac의 그래픽 칩에서 15분쯤 걸렸습니다. 1억 3500만 모델을 다시 재 보니 지난 라운드와 거의 같은 수치가 나왔습니다(호출 77.1 % 대 76.6 %). 측정은 재현됩니다.

우선 덧셈에서는 크기가 모든 것을 바꿉니다. 정답률이 14 %, 87.5 %, 95 %입니다. 코드는 여전히 100 %입니다. 8비트로 바꿔도 답이 그대로인 비율은 85.5 %, 98 %, 99 %입니다. 모델이 클수록 반올림 때문에 덜 흔들립니다.

출처: Frantar & Alistarh, SparseGPT: Massive Language Models Can Be Accurately Pruned in One-Shot (ICML 2023), Sun et al., A Simple and Effective Pruning Approach for Large Language Models (Wanda, ICLR 2024), Mishra et al., Accelerating Sparse Deep Neural Networks (NVIDIA, 2021)

확립

50 % 가지치기: 큰 모델일수록 잘 버틴다

코드로 맞춘 가지치기는 코드의 퍼플렉시티를 1.53배, 1.29배, 1.22배로 만듭니다. 예측대로 크기가 커질수록 뚜렷하게 줄어듭니다. 17억 모델은 가중치를 절반으로 줄이고도 덧셈 정답률 85.5 %를 지켰습니다. 작은 모델은 0 %까지 떨어졌습니다.

유망

망설임: 호출 비율은 줄지만 충분히 빠르지 않다

코드에서 전체 모델과의 차이를 5 % 이내로 지키려면, 50 % 가지치기한 전문가는 발췌문의 77.1 %, 68.8 %, 62.5 %에서 전체 모델을 다시 불러야 합니다. 무작위라면 82.6, 75.1, 72.5 %가 필요하니, 어느 크기에서든 망설임은 좋은 길잡이입니다. 17억 모델은 60 % 이하로 예측했지만 2.5포인트 차이로 빗나갔습니다. 이상적 비용은 1.02에서 0.95, 0.90으로 내려갑니다. 1보다 낮으니 이득이지만 근소합니다.

유망

25 % 가지치기: 어느 크기에서나 거의 공짜

진짜 놀라움은 가장 부드러운 비율에서 나왔습니다. 25 %에서는 세 크기 모두, 전문가가 한 번도 호출하지 않고 코드에서 전체 모델과의 차이를 5 % 이내로 유지합니다. 이상적 비용은 0.8 × (0.75 + 0) = 0.6, 즉 비용이 1.67분의 1입니다. 코드의 퍼플렉시티는 2~3 %, 산문은 6~8 %만 나빠집니다. 작업의 길은 지켜지고, 나머지는 조금 덜 지켜집니다.

XIII

3라운드가 바꾸는 것

일곱 개 중 여섯 개의 예측이 맞았습니다. 빗나간 하나는 가장 큰 모델의 호출 비율에 관한 것으로, 차이는 2.5포인트입니다. 한 가지 덧붙이면, "어느 비율에서든 망설임이 무작위보다 낫다"는 예측은 25 %에서는 호출이 필요 없으므로 따질 일이 없습니다.

조심스럽게 추세를 늘려 봅시다. 점은 세 개뿐입니다. 50 %에서의 호출 비율은 모델이 10배 커질 때마다 약 13포인트 줄어듭니다. 80억 모델이라면 호출 약 53 %, 이상적 비용 0.83이 됩니다. 비용을 절반으로 만드는 기준인 12.5 %까지 내리려면 10조 파라미터 규모의 모델이 필요합니다. 결론적으로 50 %에서는 가지치기만으로 5 % 허용 범위 안에서 비용을 절반으로 줄일 수 없습니다.

좋은 길은 다른 모습으로 드러납니다. 부드럽게 가지치기하고(25 %, 호출 없음, 비용 0.6), 컴파일하고(× 1.5: 0.6 ÷ 1.5 = 0.4), 규칙을 따르는 부분은 코드로 바꿉니다. 계산상 비용이 2.5분의 1이 됩니다. 큰 단서가 하나 있습니다. 지금의 칩이 실제로 가속하는 유일한 가지치기 방식, 네 개 중 두 개를 0으로 만드는 방식은 바로 비싼 비율인 50 %에 해당합니다. 25 % 가지치기는 칩이 그것을 활용할 줄 알 때만 이득입니다.

그래서 고리 b는 55 %에서 60 %로 오르고, H10은 52 %에서 0.95 × 0.60 = 57 %가 됩니다. 다음 질문은 더 이상 "어느 크기부터?"가 아니라 "어떤 칩에서 25 % 가지치기가 실제로 더 빨라지는가?"입니다.

XIV

4라운드: 뉴런을 통째로 잘라 내고 초시계로 재다

3라운드의 비용 0.6은 "이상적"인 값이었습니다. 0으로 만든 가중치를 칩이 활용한다고 가정했기 때문입니다. 하지만 같은 크기의 행렬에 흩어진 0은 다른 숫자처럼 그대로 계산됩니다. 이번에는 각 모델의 MLP 블록에서 뉴런을 통째로 12.5 %, 25 %, 50 % 제거했습니다. 행렬이 실제로 작아지므로 어떤 칩에서든 효과가 있습니다. 그리고 결과를 계산하는 대신 Mac의 그래픽 칩에서 직접 시간을 쟀습니다. 예측은 아홉 개이며 실행 전에 기록했습니다.

대조 실험이 출발점을 확인해 줍니다. 0을 25 % 흩어 놓아도 세 크기 모두 걸리는 시간이 전체 모델과 0.4 % 차이로 똑같습니다. 이 칩에서는 0이 아무 이득도 주지 않습니다.

출처: Ma et al., LLM-Pruner: On the Structural Pruning of Large Language Models (NeurIPS 2023), Xia et al., Sheared LLaMA: Accelerating Language Model Pre-training via Structured Pruning (ICLR 2024)

확립

줄어든 시간은 제거한 가중치를 거의 정확히 따른다

뉴런을 통째로 제거하면 실제로 빨라집니다. 17억 모델에서 MLP 뉴런을 12.5, 25, 50 % 제거하면 읽기 시간이 전체 모델의 0.91배, 0.84배, 0.69배로 줄어듭니다. 이때 남는 가중치는 91, 82, 65 %이니, 시간은 크기를 거의 정확히 따라갑니다. 작은 모델은 MLP 블록이 전체에서 차지하는 비중이 작아 이득이 조금 적습니다. 한 단어씩 생성하는 속도도 읽기만큼 빨라집니다.

확립

하지만 통째로 자르면 더 많이 망가진다

25 %에서는 코드의 퍼플렉시티가 1.16배, 1.12배, 1.10배가 되고(흩어진 0으로는 1.02~1.03배), 산문은 2배를 넘습니다. 그러면 코드 발췌문의 35 %, 33 %, 29 %에서 전체 모델을 다시 불러야 합니다(무작위라면 46, 44, 42 %). 이 호출까지 계산하면 실측 비용은 1.25, 1.20, 1.13으로, 아무것도 자르지 않는 것보다 비쌉니다. 50 %에서는 더 나빠서, 호출이 약 80 %에 비용은 1.5에 가깝습니다.

유망

12.5 %: 호출 없이 얻은 첫 실제 시간 단축

부드럽게 자르면 세 크기 모두, 전문가가 한 번도 호출하지 않고 코드에서 전체 모델과의 차이를 5 % 이내로 유지합니다. 이득은 작지만 실측입니다. 시간이 5 %, 6 %, 9 % 줄었습니다(비용 0.95, 0.94, 0.91). 17억 모델은 덧셈을 98 % 맞혀, 전체 모델의 95 %보다 높았습니다. 반면 산문은 이미 많이 나빠집니다(퍼플렉시티 1.4~1.5배). 자르기가 정말로 코드의 길을 따라갔다는 뜻입니다. 산문으로 맞췄다면 실수였을 것입니다. 25 %에서 코드의 퍼플렉시티가 1.1배가 아니라 2배를 넘었을 테니까요.

XV

4라운드가 바꾸는 것

아홉 개 중 일곱 개의 예측이 맞았습니다. 처음 빗나간 예측이 가장 흥미롭습니다. 호출까지 계산하면 어떤 자르기도 실제 시간을 줄이지 못한다고 걸었는데, 틀렸습니다. 12.5 %에서는 전문가가 더 빠르고 호출도 필요 없습니다. 다른 하나는 1000분의 1 차이입니다. 25 %에서 가장 큰 모델의 코드 퍼플렉시티는 1.099배였고, 예측은 1.10배 초과였습니다. 세 번째는 아슬아슬하게 맞았지만 예상한 이유 때문은 아니었습니다. 작은 모델에서는 생성이 읽기보다 덜 빨라질 거라 생각했지만, 둘 다 똑같이 빨라졌습니다.

교훈은 간단한 규칙 하나로 정리됩니다. 이 칩에서 줄어드는 시간은 제거한 가중치의 비율과 거의 같습니다. 그러니 비용을 절반으로 줄이려면 모델의 절반을 제거하면서도 전체 모델을 거의 부르지 않아야 합니다. 재학습 없이는 아직 멀었습니다. 50 %에서는 발췌문 열 개 중 여덟 개에서 호출이 필요합니다.

다음 단서는 잘 알려져 있습니다. 자른 뒤 짧게 재학습하면 손상의 상당 부분이 회복됩니다. LLM-Pruner는 가벼운 방법으로 몇 시간 만에 이를 해내고, Sheared-LLaMA는 이 방식으로 전체 학습 비용의 일부만 들여 좋은 소형 모델을 만듭니다. 이런 재학습으로 25 % 자르기의 호출을 0 가까이 줄인다면, 실측 단축은 9 %에서 약 16 %로 늘어납니다.

미리 적어 둔 규칙은 이랬습니다. 실측 비용이 0.9보다 낮으면 고리 b를 올리고, S9가 맞으면 내린다. 최선의 비용은 0.91이고 S9는 빗나갔습니다. 그래서 고리 b는 60 %, H10은 57 %에 머뭅니다. 그래도 비용은 더 이상 계산만 한 값이 아닙니다. 처음으로 초시계로 잰 값이 되었습니다.

XVI

5라운드: 자른 다음 고치기

4라운드에서는 MLP 뉴런의 25 %를 제거하면 실제 시간이 10~16 % 줄었지만, 전문가가 발췌문의 3분의 1에서 전체 모델을 다시 불러야 해서 이득이 사라졌습니다. 이번에는 자른 뒤 전문가에게 짧은 보충 수업을 시킵니다. 전체 모델이 선생님, 자른 모델이 학생이 되어, 학생은 코드에서 선생님과 같은 확률을 내도록 배웁니다. 이것이 증류입니다. 학습용 코드는 평가와 다른 파일에서 가져와, 학생이 답을 외울 수 없게 했습니다.

고치는 방법은 두 가지를 시험했습니다. 첫째는 자른 MLP 블록의 가중치를 직접 다시 학습시키는 방법입니다. 둘째인 LoRA는 그 가중치를 고정하고 옆에 덧붙인 작은 행렬만 학습시킨 뒤 가중치에 합칩니다. 교과서 여백에 붙인 포스트잇 같은 것입니다. 덕분에 17억 모델과 그 선생님이 Mac의 24 GB 안에 들어갑니다. 예측은 열한 개이며 실행 전에 기록했습니다. 전체가 약 1시간 반 걸렸습니다.

출처: Hinton, Vinyals & Dean, Distilling the Knowledge in a Neural Network (2015), Hu et al., LoRA: Low-Rank Adaptation of Large Language Models (ICLR 2022), Ma et al., LLM-Pruner: On the Structural Pruning of Large Language Models (NeurIPS 2023)

확립

고치면 호출이 크게 줄지만 사라지지는 않는다

25 %를 자른 뒤 고치기 전에는 코드 발췌문의 35 %, 33 %, 29 %에서 전체 모델을 불러야 합니다(135M, 360M, 1.7B). 4라운드 수치가 그대로 재현되었습니다. 고친 뒤에는 직접 다시 학습한 135M이 6 %, 360M이 15 %, LoRA로 고친 1.7B가 23 %로 줄었습니다. 호출을 포함한 실측 비용은 0.93, 1.03, 1.06입니다. 작은 모델은 이득이 생겨 시간이 7 % 줄었습니다. 나머지 둘은 1에 가까워지지만 그 아래로 내려가지는 않습니다. 50 %를 자르면 고쳐도 부족해서 호출이 3분의 2나 남습니다.

유망

가중치를 다시 학습하는 편이 LoRA보다 잘 고친다

같은 1억 3500만 모델을 같은 단계 수로 고치면, 직접 수리는 호출 6 %, LoRA는 15 %를 남깁니다. LoRA의 "포스트잇"은 조정 가능한 숫자가 250만 개뿐이라, 수천만 개를 고치는 직접 수리보다 덜 고칩니다. 17억 모델은 메모리와 시간 때문에 LoRA만, 그것도 절반의 단계로 고쳤습니다. 그러니 그 결과(23 %)는 상한이 아니라 하한입니다. 수리에는 19분이 걸렸습니다.

유망

뜻밖에도 산문도 좋아진다

코드로 다시 학습하면 산문이 더 나빠질 거라고 예측했습니다. 결과는 반대여서, 세 크기 모두 고친 뒤 산문의 퍼플렉시티가 조금 내려갔습니다(예: 135M에서 2.59배 → 2.38배). 이유는 증류에 있습니다. 학생은 코드의 정답만 배우는 게 아니라 선생님의 확률 분포 전체, 즉 글이 어떻게 이어질지 예측하는 선생님의 일반적인 방식 일부를 배우기 때문입니다.

XVII

5라운드가 바꾸는 것

열한 개 중 여섯 개의 예측이 맞았습니다. 지금까지 가장 많이 빗나간 라운드입니다. 수리로 호출을 10 % 아래로 낮추고 실제 시간을 최소 10 % 줄일 수 있다고 걸었지만, 절반쯤에서 멈췄습니다. 방향은 맞지만 효과가 생각보다 약합니다.

가장 좋은 결과는 가장 작은 모델에서 나왔습니다. 25 %를 자른 뒤 고치면 비용이 0.93으로, 고치지 않고 12.5 %만 부드럽게 자른 경우(0.95)보다 낫습니다. 통째로 자른 뒤 고쳐서, 호출을 포함해도 실제 시간을 줄인 것은 처음입니다. 이득은 아직 작고, 보충 수업 비용도 한 번은 치러야 합니다. 작은 모델은 몇 분, 17억 모델은 20분쯤입니다.

미리 적어 둔 규칙은 이랬습니다. 비용이 0.9보다 낮으면 고리 b를 올리고, 고친 뒤에도 모든 크기에서 호출이 20 %를 넘으면 내린다. 어느 쪽도 일어나지 않았습니다. 고리 b는 60 %, H10은 57 %에 머뭅니다. 다음 질문은 분명합니다. 수리를 더 길게 하거나 17억 모델을 직접 다시 학습하면 호출이 10 % 아래로 내려갈까요? 그러려면 Mac보다 큰 기계가 필요합니다.

XVIII

6라운드: 더 오래 고치기

5라운드의 수리를 멈췄을 때 호출은 아직 줄어들고 있었습니다. 부족했던 것은 시간뿐이었을까요? 같은 25 % 자르기를 유지하고, 중간중간 확인하며 더 오래 고쳤습니다. 3억 6000만 모델(직접 재학습)은 300, 600, 1200 단계 뒤에, 17억 모델(LoRA)은 150, 300, 600 단계 뒤에 확인합니다. 학습률은 짧게 올린 뒤 일정하게 두어, 한 실행 안의 확인 결과를 서로 비교할 수 있게 했습니다. 예측은 일곱 개이며 실행 전에 기록했습니다. Mac에서 전체가 2시간 반 걸렸습니다.

출처: Hinton, Vinyals & Dean, Distilling the Knowledge in a Neural Network (2015), Hu et al., LoRA: Low-Rank Adaptation of Large Language Models (ICLR 2022)

확립

3억 6000만: 1200단계 뒤에는 호출이 전혀 없다

호출은 수리 전 33 %에서 300단계 뒤 10 %, 600단계 뒤 4 %, 1200단계 뒤 0 %가 되었습니다. 코드 발췌문 48개 모두에서 자른 전문가가 전체 모델과의 차이를 5 % 이내로 유지합니다. 코드의 퍼플렉시티는 1.07배에 그치고(수리 전 1.12배), 산문은 계속 좋아지며(2.44배 → 2.14배), 덧셈도 조금 오릅니다(55 → 60 %). 그동안 학생이 학습용 코드를 본 것은 한 번을 겨우 넘는 정도라, 외울 시간은 없었습니다.

유망

17억과 LoRA: 줄어드는 속도가 느려진다

호출은 150, 300, 600단계 뒤에 29 %에서 23 %, 21 %, 19 %로 내려갑니다. 시간을 두 배로 늘릴 때마다 이제 2포인트쯤만 줄어듭니다. 5라운드처럼 LoRA는 직접 재학습보다 덜 고치며, 작은 행렬이 한계에 다다른 듯합니다. 실측 비용은 1.05까지 내려가지만 1 아래로는 가지 않습니다. 17억 모델에는 직접 재학습이 필요한데, Mac 메모리에는 너무 무겁습니다.

추측

이번에는 초시계를 덜 믿을 만하다

호출이 없으면 전문가의 비용은 속도로만 정해집니다. 이번에 3억 6000만 모델에서 잰 값은 0.97입니다. 그런데 이 긴 실행 동안 전체 모델 자체가 처음과 끝 사이에 10 % 빨라졌습니다(배치당 0.68초 → 0.61초). 4·5라운드에서는 이 차이가 1 % 미만이었고, 그때 같은 자른 모델의 속도는 0.87~0.88이었습니다. 미리 적어 둔 규칙은 실행에서 잰 값을 쓰므로 그대로 둡니다. 진짜 비용은 아마 0.88에 더 가깝고, 다음 라운드에서 같은 모델을 다시 잽니다.

XIX

6라운드가 바꾸는 것

일곱 개 중 다섯 개의 예측이 맞았습니다. 빗나간 두 개는 3억 6000만 모델의 비용(예측 0.95 미만, 실측 0.97)과 17억 모델의 호출(예측 15 % 이하, 실제 19 %)입니다.

가장 큰 교훈은 3억 6000만 모델에게는 시간만 부족했다는 것입니다. 25 %를 자르고 한 시간 고치면, 코드에서는 다시는 전체 모델을 부르지 않는 전문가가 됩니다. 이 모델의 호출 문제는 풀렸고, 남은 것은 자르기로 얻는 속도뿐입니다. 4·5라운드는 그것을 12~13 %의 시간 단축으로 쟀습니다.

미리 적어 둔 규칙은 이랬습니다. 실측 비용이 0.9보다 낮으면 고리 b를 올리고, 두 크기 모두 호출이 20 %를 넘으면 내린다. 어느 쪽도 아닙니다. 고리 b는 60 %, H10은 57 %에 머뭅니다. 남은 의문은 이제 호출이 아니라 초시계에 있습니다.

XX

7라운드: 선생님 한 명, 학생 두 명

5라운드에서 증류로 고치자 코드만 다뤘는데도 산문까지 좋아졌습니다. 우리의 설명은 이랬습니다. 학생은 정답만이 아니라 선생님의 망설임 전부를 배운다. 이를 시험하려고, 한 대화에서 나온 아이디어를 썼습니다. 똑같은 학생 두 명, 즉 25 %를 자른 같은 모델을 두 개 준비해 같은 선생님에게 맡기고, 같은 글을 같은 순서로 같은 시간 동안 배우게 하는 것입니다.

바뀌는 것은 가르치는 방식 하나뿐입니다. "뉘앙스" 학생은 선생님의 확률 분포 전체를 배웁니다. "return 70 %, yield 20 %…" 같은 식입니다. "정답" 학생은 선생님이 가장 고를 법한 단어만 배웁니다. 모범 답안만 받는 셈입니다. 크기는 두 가지(1억 3500만, 3억 6000만), 예측은 여섯 개로 실행 전에 기록했고, Mac에서 한 시간 조금 안 걸렸습니다.

출처: Hinton, Vinyals & Dean, Distilling the Knowledge in a Neural Network (2015)

확립

"뉘앙스" 학생은 5라운드를 수치까지 그대로 재현한다

5라운드와 똑같은 설정으로 배우고, 호출도 똑같이 나왔습니다. 135M에서 6.2 %, 360M에서 14.6 %입니다. 측정이 날이 바뀌어도 재현됩니다. 산문도 그때처럼 좋아졌습니다(135M에서 2.59배 → 2.38배, 360M에서 2.44배 → 2.29배).

확립

"정답" 학생은 수업 전보다 나빠졌다

덜 나아진 정도가 아니라 뒷걸음질쳤습니다. 호출은 35 %에서 73 %(135M), 33 %에서 77 %(360M)로 늘었고, 코드의 퍼플렉시티는 수업 전 1.12~1.16배에서 1.5~1.6배가 되었으며, 산문도 나빠졌습니다. 그런데도 시킨 것은 배웠습니다. 선생님이 고를 단어를 맞히는 횟수는 점점 늘었습니다. 하지만 선생님의 확률과의 차이는 수업 동안 줄기는커녕 벌어졌습니다.

유망

이유: 지나치게 확신하는 법을 배운다

선생님이 두 단어 사이에서 망설일 때, "정답" 학생은 첫 번째 단어에 모든 것을 거는 법을 배웁니다. 지나치게 확신하게 되는 것이죠. 실제 글에서 두 번째 단어가 맞을 때마다 크게 벌을 받습니다. 반대로 "뉘앙스" 학생은 선생님이 망설이는 곳에서 망설이는 법을 배웁니다. 2015년에 Hinton과 동료들이 말한 "숨은 지식"입니다. 선생님이 그럴듯하다고 보는 오답은 정답만큼이나 많은 것을 가르쳐 줍니다.

XXI

7라운드가 바꾸는 것

여섯 개 예측이 모두 맞았습니다. 이 노트에서 처음 있는 일입니다. 5라운드의 설명은 예상보다 더 뚜렷하게 시험을 통과했습니다. 선생님의 뉘앙스를 따라 하면 고쳐지고, 정답만 따라 하면 망가집니다.

초시계에도 좋은 소식이 있습니다. 이번에는 안정적이었습니다(전체 모델의 시간이 처음과 끝에서 1 % 이내로 같음). 25 %를 자른 3억 6000만 모델은 4·5라운드처럼 전체 모델 시간의 0.87로 돌아갑니다. 그러니 6라운드에서 1200단계 고쳐 호출이 필요 없어진 전문가의 비용은 약 0.87일 것입니다.

이 값은 고리 b를 올리는 0.9 기준보다 낮습니다. 하지만 두 라운드를 합친 수치이고, 우리 규칙은 한 실행 안에서 잰 값에 관한 것입니다. 그래서 고리 b는 60 %, H10은 57 %에 머뭅니다. 1200단계 수리와 안정된 초시계를 한 실행에 함께 담고, 예측을 미리 적은 확인 실행을 기다립니다.

XXII

8라운드: 확인 실행

6·7라운드를 합치면, 전체 모델을 한 번도 부르지 않으면서 그 시간의 0.87로 돌아가는 전문가가 있다는 뜻이 됩니다. 하지만 우리 규칙은 모든 것을 한 실행 안에서 재도록 요구합니다. 그래서 25 %를 자른 3억 6000만 모델의 1200단계 수리를 다시 하고, 번갈아 시간을 쟀습니다. 전체 모델, 전문가, 전체 모델, 전문가… 모두 일곱 번입니다. 도중에 기계가 빨라지거나 느려져도 두 모델이 똑같이 영향을 받습니다. 예측은 다섯 개이며 실행 전에 기록했습니다.

확립

다시 한번 호출 0

600단계 뒤에는 발췌문의 4.2 %에서 전체 모델을 불러야 했고, 1200단계 뒤에는 한 번도 부르지 않았습니다. 코드의 퍼플렉시티는 1.065배에 그치고, 산문은 계속 좋아지며, 덧셈은 60 %로 돌아왔습니다. 6라운드의 수치가 거의 그대로 재현되었습니다.

확립

마침내 믿을 수 있는 초시계

전체 모델을 네 번 잰 값의 차이는 최대 1.7 %로, 6라운드의 10 %와 크게 다릅니다. 전문가는 전체 모델 시간의 0.88이 걸리며, 이 비율은 회차마다 거의 변하지 않습니다(0.882, 0.884, 0.882). MLP 뉴런의 4분의 1을 제거하면 실제 시간이 12 % 줄어듭니다.

확립

0.9 아래의 실측 비용

호출이 전혀 없으니 실측 비용은 이 비율 그대로 0.88입니다. 한 실행 안에서, 안정된 초시계로, 자른 뒤 고친 전문가가 전체 모델보다 빠르면서 어느 코드 발췌문에서도 5 % 넘게 벗어나지 않은 것은 이번이 처음입니다.

XXIII

8라운드가 바꾸는 것

다섯 개 예측이 모두 맞았습니다. 미리 적어 둔 규칙은 이랬습니다. 초시계가 안정되고 비용이 0.9보다 낮으면 고리 b를 60 %에서 65 %로 올린다. 그대로 되었으니, H10은 57 %에서 0.95 × 0.65 ≈ 62 %로 오릅니다.

과장 없이 말하면 이렇습니다. 평범한 컴퓨터의 칩에서도, 한 시간만 고치면 25 %를 자른 모델을 눈에 띄는 손실 없이 12 % 빠른 코드 전문가로 바꿀 수 있습니다. H10이 내건 "비용 절반"과는 아직 거리가 멀고, 나머지는 다른 수단(더 깊게 자르고 더 잘 고치기, 컴파일, 규칙을 따르는 부분을 코드로 바꾸기)에서 얻어야 합니다. 그래도 "자른 다음 고치기"라는 길은 통하며, 이제는 실측되었습니다.

XXIV

9라운드: 망설임을 과장하는 선생님

7라운드에서는 선생님의 망설임을 배우면 고쳐지고, 정답만 배우면 망가진다는 것이 드러났습니다. 그렇다면 망설임을 과장해서 보여 주는 선생님은 더 잘 가르칠까요? 이것이 2015년에 Hinton과 동료들이 제안한 "온도"라는 아이디어입니다. 수업 전에 선생님과 학생이 확률을 평평하게 고르는 것이죠. T = 2에서는 "return 90 %, yield 8 %"가 "return 70 %, yield 20 %"에 가까워지고, T = 4에서는 더 그렇습니다. 크기마다 똑같은 학생 세 명(T = 1, 2, 4)을 두고, 선생님도 글도 시간도 같게 했습니다. 예측은 다섯 개이며 실행 전에 기록했습니다.

출처: Hinton, Vinyals & Dean, Distilling the Knowledge in a Neural Network (2015)

확립

T = 1에서는 세 번째로 같은 수치

T = 1 학생은 7라운드 "뉘앙스" 학생과 똑같은 수업을 받았고, 호출도 똑같았습니다. 135M에서 6.2 %, 360M에서 14.6 %입니다. 이 수치가 그대로 나온 것은 5·7·9라운드에 이어 세 번째입니다.

확립

선생님이 과장할수록 학생은 덜 배운다

호출은 온도와 함께 늘어납니다. T = 1, 2, 4에서 135M은 6 → 10 → 15 %, 360M은 15 → 17 → 21 %입니다. 코드와 산문의 퍼플렉시티도 같은 순서로 조금씩 나빠집니다. T = 2가 적어도 T = 1만큼은 잘할 거라고 걸었지만, 두 크기 모두에서 빗나갔습니다.

유망

이유: 너무 확신해도, 너무 망설여도 안 된다

과장된 망설임을 배운 학생은 결국 너무 망설이게 됩니다. 7라운드의 "정답" 학생이 지나치게 확신하게 된 것과 정반대입니다. 둘 다 선생님에게서 멀어지지만, 방향이 반대입니다. 온도는 작은 학생이 자신만만해서 뉘앙스가 거의 보이지 않는 큰 선생님에게 배울 때 도움이 됩니다. 여기서 학생은 선생님의 손상된 복사본이고, 목표는 선생님과 똑같아지는 것입니다. 그러니 선생님의 확률을 있는 그대로 베끼는 것이 가장 좋습니다.

XXV

9라운드가 바꾸는 것

다섯 개 중 세 개의 예측이 맞았습니다. T = 1에서의 재현, T = 4에서의 악화, 그리고 망설임이 무작위보다 나은 길잡이라는 점입니다. 빗나간 두 개는 T = 2에서 이득이 있을 거라고 건 예측입니다.

7·9라운드를 합치면, 전문가를 고치는 간단한 규칙이 보입니다. 선생님의 확률을 있는 그대로 배워야 합니다. 너무 딱딱하게 하든(정답만) 너무 부드럽게 하든(높은 온도), 가르치는 힘이 떨어집니다. 이 라운드는 고치는 방식에 관한 것이지 비용에 관한 것이 아니므로, H10은 62 %에 머뭅니다.

XXVI

10라운드: 낯선 땅에 선 전문가

8라운드의 전문가는 Python 표준 라이브러리 코드로 고치고 평가했습니다. 파일은 달라도 문체와 작성자는 같습니다. 이 전문가는 Python 코드 전반에 능숙할까요, 아니면 표준 라이브러리 코드에만 능숙할까요? 8라운드를 그대로 다시 하면서 낯선 코드로 한 번 더 평가했습니다. PyTorch와 Transformers의 소스에서 뽑은 발췌문 48개로, 자르기와 수리 어느 단계에서도 본 적 없는 코드입니다. 예측은 다섯 개이며 실행 전에 기록했습니다.

확립

익숙한 땅에서는 8라운드가 재현된다

표준 라이브러리에서는 8라운드의 수치가 그대로 돌아왔습니다. 1200단계 뒤 호출 0 %, 속도 비율 0.88, 안정된 초시계(차이 1 %)입니다. 실측 비용은 0.88입니다.

확립

낯선 코드에서는 거의 두 개 중 하나를 부른다

PyTorch와 Transformers 코드에서 자른 전문가는 수리 전에 발췌문의 71 %에서 전체 모델을 불렀고, 1200단계 뒤에도 여전히 48 %였습니다. 수리가 조금은 도움이 되지만(퍼플렉시티 1.29배 → 1.16배), 익숙한 땅보다 훨씬 덜합니다. 이 코드에서 잰 비용은 1.36으로, 아무것도 자르지 않는 것보다 비쌉니다. 우리가 "Python 코드 전문가"라고 부른 것은 사실 표준 라이브러리 전문가였습니다. 전문 분야는 수리에 쓴 데이터의 범위입니다.

확립

그리고 망설임이 더는 길잡이가 되지 못한다

익숙한 땅에서는 전문가의 망설임을 따르면 언제나 무작위보다 호출이 적었습니다. 낯선 코드에서는 그렇지 않습니다. 망설임을 따라도 48 %, 무작위로 해도 48 %입니다. 전문가는 자기 분야를 벗어나면 어떤 발췌문을 잘못 다루는지 알아보지 못합니다. 번역기에게 중요한 결과입니다. 경보는 맞춰 둔 곳에서만 쓸모가 있습니다.

XXVII

10라운드가 바꾸는 것

다섯 개 중 한 개의 예측만 맞았습니다. 표준 라이브러리에서의 재현입니다. 나머지 넷은 크게 빗나갔습니다. 가장 많이 빗나간 라운드이지만, 아마도 가장 쓸모 있는 라운드입니다.

미리 적어 둔 규칙은 이랬습니다. 낯선 코드에서 호출이 20 %를 넘으면 고리 b를 65 %에서 60 %로 되돌린다. 실제로는 48 %였습니다. 그래서 H10은 62 %에서 57 %로 내려갑니다. 8라운드에서 잰 이득은 여전히 사실이지만, 수리한 바로 그 땅에서만 성립합니다. 진짜 번역기라면 그 땅을 벗어날 때 알아차려야 하는데, 망설임은 그것을 알려 주지 못합니다.

XXVIII

11라운드: 절반을 잘라 내기

비용을 절반으로 줄이는 데 가까워지려면 더 많이 잘라야 합니다. 3억 6000만 모델의 MLP 뉴런을 50 % 제거하고, 5라운드보다 여덟 배 오래 고쳤으며, 600, 1200, 2400단계 뒤에 확인했습니다. 번갈아 재는 방식과 이중 평가(표준 라이브러리와 낯선 코드)도 같습니다. 예측은 다섯 개이며 실행 전에 기록했습니다.

출처: Xia et al., Sheared LLaMA: Accelerating Language Model Pre-training via Structured Pruning (ICLR 2024)

확립

전문가는 훨씬 빠르다

절반을 자르면 전체 모델 시간의 0.75가 걸립니다. 초시계도 안정적이어서(차이 0.7 %), 4라운드처럼 시간의 4분의 1을 아낍니다.

확립

하지만 수리가 한계에 부딪힌다

표준 라이브러리에서 호출은 600, 1200, 2400단계 뒤에 81 %에서 54 %, 50 %, 46 %로 줄었습니다. 시간을 두 배로 늘려도 이제 4포인트만 줄어듭니다. 코드의 퍼플렉시티는 1.17배, 산문은 거의 5배 그대로입니다. 실측 비용은 1.21입니다. 낯선 코드에서는 더 나빠서 호출 73 %, 비용 1.48입니다.

추측

이유: 지식을 너무 많이 덜어 냈다

25 %일 때는 자르면서 잃은 것을 수리로 거의 다 되찾았습니다. 50 %에서는 학습용 코드를 두 바퀴 반 돌아도 일부만 되찾습니다. 가능한 설명은, 뉴런 절반으로는 모델이 알던 것을 다 담을 수 없고 증류로는 자리를 새로 만들 수 없다는 것입니다. Sheared-LLaMA 같은 연구는 수백만이 아니라 수십억 개의 토큰으로 수리합니다.

XXIX

11라운드가 바꾸는 것

다섯 개 중 두 개의 예측이 맞았습니다. 확인할 때마다 호출이 줄었고, 전문가가 실제로 0.75로 돌아갔습니다. 나머지 셋은 빗나갔습니다. 2400단계 뒤에도 호출이 46 % 필요하고, 비용은 1.21에 머뭅니다.

미리 적어 둔 규칙으로는 H10이 움직이지 않아 57 %에 머뭅니다. 10·11라운드는 같은 말을 두 방향에서 합니다. Mac 같은 기계에서 자른 뒤 고치는 방법은, 적당한 자르기와 분명히 정해진 분야에서만 통합니다. 더 많이 자르거나 더 넓은 분야를 노리려면 규모가 전혀 다른 수리가 필요합니다.

XXX

12라운드: 두 선생님에게 배우고, 세관원을 두다

10라운드에서는 두 가지 약점이 드러났습니다. 표준 라이브러리로 고친 전문가는 낯선 코드에 약했고, 망설임으로는 자신이 잘못 다루는 발췌문을 찾아내지 못했습니다. 이번에는 둘을 한꺼번에 다뤘습니다. 먼저 자르기와 수리에 섞은 데이터를 썼습니다. 절반은 표준 라이브러리, 절반은 Transformers 소스입니다. 다음으로, 전문가의 망설임이 아니라 "발췌문이 무엇과 닮았는지"를 보는 탐지기를 시험했습니다. 익숙한 코드에서 내부 상태의 지문을 떠 두고, 새 발췌문이 그 지문에서 얼마나 떨어져 있는지 재는 방식입니다. 예측은 여섯 개이며 실행 전에 기록했습니다.

확립

다양하게 고치면 본 적 없는 코드에서도 버틴다

1200단계 뒤 전문가가 전체 모델을 부른 비율은 표준 라이브러리 발췌문에서 4 %, 따로 떼어 둔 Transformers 파일에서 0 %, 어느 단계에서도 보지 않은 PyTorch 발췌문에서 21 %였습니다. 표준 라이브러리로만 고친 10라운드에서는, PyTorch와 Transformers가 섞인 낯선 코드에서 48 %를 불렀습니다. 따로 떼어 둔 Transformers 파일에서는 전체 모델보다 조금 더 나은 결과까지 냈습니다(퍼플렉시티 0.997배).

확립

세관원은 낯선 코드를 알아본다

탐지기는 무작위로 뽑은 쌍의 93 %에서 PyTorch 발췌문을 익숙한 코드와 구별했습니다(ROC 곡선 아래 면적 0.93). 반면 망설임은 PyTorch에서 또다시 실패했습니다. 망설임을 따르면 무작위보다 호출이 더 많았습니다(21 % 대 17 %). 전문가에게 망설이는지 묻는 것보다, 무엇을 읽고 있는지 보는 편이 낫습니다.

유망

섞인 흐름에서 비용이 1 아래로 내려간다

실제 사용처럼 표준 라이브러리와 PyTorch가 절반씩 섞인 96개 발췌문의 흐름에서, 탐지기가 낯설다고 본 발췌문부터 부르면 호출은 9.4 %면 됩니다. 망설임을 따르면 11.5 %, 무작위면 13.8 %, 모든 것을 아는 가상의 판정자라도 7.3 %입니다. 속도 비율 0.88, 안정된 초시계(차이 1.4 %)에서 실측 비용은 0.97로 내려갔습니다.

XXXI

12라운드가 바꾸는 것

여섯 개 예측이 모두 맞았습니다. 이 노트에서 두 번째입니다. 10라운드의 두 약점에는 각각 해법이 생겼습니다. 더 다양한 수리, 그리고 망설임 대신 발췌문 자체를 보는 탐지기입니다.

하지만 H10을 올리기 위한 미리 적어 둔 규칙은 섞인 흐름에서 비용이 0.95보다 낮을 것을 요구했습니다. 0.97로는 아직 조금 모자라므로, 고리 b는 60 %, H10은 57 %에 머뭅니다. 그래도 진짜 번역기의 모습이 드러나고 있습니다. 다양한 땅에서 고친 전문가와, 낯선 것을 전체 모델로 보내는 세관원이 함께하면, 익숙한 것과 낯선 것이 섞인 흐름에서도 작지만 실측된 이득이 생깁니다.

XXXII

13라운드: 선생님 열두 명, 그리고 성급한 세관원

12라운드에서는 두 계열의 코드만으로 PyTorch 호출이 48 %에서 21 %로 줄었습니다. 이 생각을 더 밀고 나가, Python 코드 열두 계열을 같은 비율로 써서 고쳤습니다(표준 라이브러리, Transformers, NumPy, pandas, SymPy, NetworkX, pip, setuptools, Rich, Pydantic, Pygments, Jinja2). 최종 시험은 여전히 PyTorch입니다. 그리고 성급한 세관원도 시험했습니다. 마지막 층을 기다리지 않고 32층 중 8층에서 발췌문을 판단하며, 낯설다고 보면 전문가는 거기서 멈추고 전체 모델이 넘겨받습니다. 예측은 여섯 개이며 실행 전에 기록했습니다.

확립

선생님을 늘려도 PyTorch에는 효과가 없다

1200단계 뒤, 나머지 열한 계열에서 따로 떼어 둔 파일에 대해서는 전문가가 전체 모델을 0 %만 부릅니다. 배운 것은 잘 압니다. 하지만 PyTorch에서는 23 %로 두 계열일 때(21 %)와 다르지 않고, 표준 라이브러리에서는 8 %로 다시 올라갔습니다(12라운드는 4 %). 원인의 일부는 실험 설계에 있습니다. 같은 비율로 맞추다 보니 가장 작은 계열이 나머지 전부의 양을 제한했고, 학생은 12라운드보다 작은 자료를 세 바퀴 돌았습니다.

확립

마지막 세관원은 감각이 무뎌진다

지문에 열두 계열이 들어가자 익숙한 코드가 매우 다양해졌고, PyTorch는 그 속에서 덜 두드러집니다. ROC 곡선 아래 면적은 0.93에서 0.73으로 떨어졌습니다. 섞인 흐름에서는 여전히 망설임보다 호출이 적지만(11.5 % 대 15.6 %), 비용은 0.99에 머뭅니다.

유망

성급한 세관원은 아무것도 못 보지만 시간을 번다

8층에서는 탐지기가 PyTorch와 익숙한 코드를 더 이상 구별하지 못합니다(ROC 곡선 아래 면적 0.45, 동전 던지기와 같음). 그 순서대로 하면 호출이 24 % 필요합니다. 그런데도 비용은 이번 라운드에서 가장 좋은 0.95입니다. 8층을 읽는 데는 전체 모델의 0.2밖에 들지 않고, 일찍 돌려보낸 발췌문마다 전문가가 읽을 분량의 4분의 3을 아끼기 때문입니다. 이득은 감각이 아니라 일찍 멈추는 데서 나옵니다.

XXXIII

13라운드가 바꾸는 것

여섯 개 중 두 개의 예측이 맞았습니다. 배운 계열에서의 좋은 성적, 그리고 마지막 세관원보다 싼 성급한 세관원입니다. 나머지 넷은 빗나갔습니다. PyTorch는 23 %에 머물고, 표준 라이브러리는 나빠졌으며, 성급한 세관원은 아무것도 알아보지 못했고, 마지막 세관원의 비용은 0.99에 그쳤습니다.

미리 적어 둔 규칙은 PyTorch 호출이 12 % 아래로 내려가길 요구했습니다. 그래서 H10은 57 %에 머뭅니다. 교훈은 두 가지입니다. 계열을 늘린다고 각 계열을 더 오래 배우는 것을 대신할 수는 없습니다. 그리고 세관원에게는 충분히 또렷한 지문이 필요합니다. 익숙한 땅이 넓을수록 낯선 것이 그 속에 섞여 버립니다. 지금까지 가장 좋은 설계는 여전히 12라운드의 것입니다.

XXXIV

14라운드: 세관원을 어디에 둘까?

12라운드의 마지막 세관원은 감각이 좋았지만, 전문가가 전부 읽은 뒤에야 판단했습니다. 13라운드에서 8층 뒤에 둔 세관원은 시간은 벌었지만 아무것도 알아보지 못했습니다. 그래서 12라운드의 설계를 그대로 가져와 길목에 세관원 여섯 명을 세웠습니다. 32층 중 8, 12, 16, 20, 24층 뒤와 맨 끝입니다. 나중에 가장 좋은 것을 고르는 일이 없도록, H10 규칙은 미리 단 하나, 16층 세관원에만 적용하기로 정해 두었습니다. 예측은 다섯 개이며 실행 전에 기록했습니다.

확립

12라운드가 수치까지 그대로 재현된다

설계가 같으니 결과도 같습니다. 1200단계 뒤 호출은 표준 라이브러리에서 4.2 %, 따로 떼어 둔 Transformers 파일에서 0 %, PyTorch에서 20.8 %였고, 마지막 세관원의 ROC 곡선 아래 면적도 다시 0.93이었습니다. 초시계는 안정적입니다(차이 0.5 %).

유망

감각은 맨 마지막에야 나타난다

중간의 세관원들은 거의 아무것도 알아보지 못합니다. ROC 곡선 아래 면적은 8층에서 0.63, 12층에서 0.62, 16층에서 0.52, 20층에서 0.49, 24층에서 0.69, 그리고 끝에서 0.93입니다. 감각은 깊이에 따라 조금씩 자라는 것이 아니라 마지막 층에서 갑자기 나타납니다. 가능한 설명은 이렇습니다(이번 라운드에서 확인하지는 않았습니다). 마지막 층은 다음 단어를 예측하는 곳이라 라이브러리마다 고유한 어휘가 뚜렷한 흔적을 남기고, 중간 층은 모든 라이브러리에 공통된 코드 구조를 담는다는 것입니다.

확립

일찍 멈추면 보지 못해도 이득이다

규칙의 대상인 16층 세관원은 호출이 21 % 필요하고 비용이 0.98로, 마지막 세관원(0.97)보다 비쌉니다. 가장 싼 것은 여전히 8층 세관원으로 0.94지만, 거의 아무것도 보지 못합니다. 13라운드처럼, 잘 골라서가 아니라 일부 발췌문에서 전문가를 일찍 멈춰 세웠기 때문에 이득을 본 것입니다. 나중에 이 세관원을 고르는 것은 반칙이므로 우리 규칙은 허용하지 않습니다.

XXXV

14라운드가 바꾸는 것

다섯 개 중 한 개의 예측이 맞았습니다. 12라운드의 재현입니다. 나머지 넷은 빗나갔습니다. 16층 세관원에게는 감각이 없고, 8층보다 낫지도 않으며, 비용은 마지막 세관원보다 높습니다.

미리 적어 둔 규칙으로는 H10이 움직이지 않아 57 %에 머뭅니다. 이제 이 모델에서는 낯선 코드를 알아보려면 마지막 층까지 가야 한다는 것을 압니다. 두 마리 토끼를 다 잡으려면, 숨은 상태와의 거리만 재는 것보다 더 섬세한 세관원이 필요합니다. 예를 들어 첫 몇 층에서부터 낯선 것을 찾아내도록 학습시킨 작은 분류기입니다.

XXXVI

통하지 않는 것

규모. 깔끔한 두 과제를 푸는 매개변수 80만 개짜리 모델은 실제 질문을 마주한 80억 매개변수 모델이 아닙니다. 거기서는 중첩이 훨씬 빽빽하고, 과제들도 훨씬 많이 뒤섞입니다.

행동으로 디컴파일하는 것은 신경망을 읽는 것이 아닙니다. 우리의 3단계는 답을 보고 프로그램을 짐작할 뿐, 가중치에서 읽어 내지 않습니다. 이미 이름을 붙일 수 있는 규칙에는 통하지만, 모르는 규칙을 찾는 것은 다른 문제로, AlphaEvolve가 다루는 문제입니다.

전문가의 망설임. 계산 전체가 자기가 모를 때 그것을 아는 전문가에 기대고 있습니다. 모델은 지나치게 자신만만할 때가 많고, 조용히 틀리는 갈림길은 아끼는 것보다 더 큰 비용을 치르게 합니다.

가지치기의 실제 이득. 칩이 0도 그대로 계산한다면 가중치를 0으로 만들어도 아무것도 빨라지지 않습니다. 덩어리를 통째로 자르거나 칩이 활용할 수 있는 무늬를 따라야 하는데, 그런 자르기는 더 큰 손상을 남깁니다.

맨 위로