내일의 AI 용어집
KO

← 노트로 돌아가기

심화 · 방법

H1 실험은 어떻게 작동하나

작은 실험을 쉬운 말로 안내합니다. 모델이 무엇인지, 라벨이 무엇인지, 왜 섞는지, 차이 없는 결과를 어떻게 읽는지.

추측 업데이트

I

실제로 학습시키는 것

아주 작은 언어 모델입니다. 2개 층, 너비 64, 무작위 값에서 시작하므로 아무것도 모릅니다. 텍스트를 한 바이트씩 읽고 다음 바이트를 맞히도록 학습합니다. 오래된 뉴스그룹 메시지의 앞 96바이트(범주당 300개)로 수백 단계 학습시키며, GPU에서 1분이 채 걸리지 않습니다.

이후 실험은 더 큰 모델을 씁니다. 4개 층, 너비 128이고 학습 방식은 같습니다. 진짜 언어 모델에 비하면 여전히 작습니다.

II

라벨

각 조각 앞에 기호를 두세 개 더 붙입니다. 라벨 없음에서는 비어 있습니다. 평면 라벨에서는 범주마다 고유한 기호가 있습니다. 계층에서는 첫 기호가 그룹(예: 컴퓨터 또는 여가)을 가리키고 다음 기호들이 범위를 좁힙니다. 섞인 코드는 모양은 같지만 코드를 엉뚱한 범주에 배정합니다. 그룹만 쓰는 경우도 시험하고, 3단계 분류에서는 주제만, 그리고 주제와 하위 주제도 시험합니다.

III

왜 섞는가

계층에는 두 가지가 담겨 있습니다. 정보(텍스트가 어느 범주에 속하는가)와 구조(어떤 범주가 형제인가)입니다. 섞인 코드는 같은 정보를 담지만 그룹에는 아무 의미가 없습니다. 진짜 계층이 섞인 라벨을 이기면 도움을 주는 것은 구조이고, 아니면 어떤 코드든 똑같이 잘 됩니다. 섞기 한 번은 운일 수 있으므로 다섯 번 반복하고, 진짜 그룹을 유지하는 섞기는 모두 제외합니다.

IV

채점 방법

따로 떼어 둔 메시지에서 손실을 냇/바이트로 잽니다(낮을수록 좋음). 모든 바이트를 무작위로 맞히는 모델은 약 5.5이고, 우리 모델은 2.5 부근에서 끝납니다. 같은 시드 안에서는 모든 조건이 같은 데이터, 같은 배치, 같은 초기값을 쓰므로 달라지는 것은 라벨뿐입니다. 모델이 정말 라벨을 쓰는지 보려고 라벨을 지운 채로도 채점합니다. 이것이 제거 실험(어블레이션)이며, 두 점수의 차이가 모델이 라벨에 의존하는 정도입니다.

V

데이터는 줄고, 되풀이는 늘고

소량 데이터 실험에서는 각 범주의 처음 30개, 100개, 300개 메시지만 씁니다. 작은 집합은 큰 집합 안에 포함되고, 모든 크기를 같은 640개의 따로 둔 메시지로 채점하므로 손실을 비교할 수 있습니다. 업데이트 횟수는 800단계 그대로여서 작은 집합은 여러 번 보게 되며, 범주당 30개면 약 80번입니다. 같은 적은 예를 그렇게 자주 본 모델은 그것을 외우기 시작합니다. 이것이 과적합이며, 따로 둔 메시지에서의 손실이 다시 오르는 모습으로 나타납니다(이 스윕에서는 2.78에서 4.12).

VI

과적합에 거는 브레이크

과적합을 줄이려고 흔히 쓰는 브레이크 두 가지를 더하며, 이를 정규화라고 부릅니다. 드롭아웃 0.2는 학습의 매 단계에서 네트워크의 유닛을 무작위로 꺼서, 한 경로만으로 예를 외울 수 없게 합니다. 가중치 감쇠 0.1은 매 단계에서 가중치를 작은 값 쪽으로 끌어당깁니다. 설정은 한 가지이고, 한 번 정했으며 최적화하지 않았고, 모든 조건에 똑같이 적용합니다. 따로 둔 메시지에서의 손실은 항상 드롭아웃을 끄고 잽니다.

큰 모델 실험은 같은 0.2와 0.1에서 시작해, 이어서 더 강한 설정(드롭아웃 0.3, 가중치 감쇠 0.3)으로 큰 모델이 예를 외우고 있었는지 확인합니다. 여전히 아무것도 최적화하지 않습니다.

VII

예측이 먼저

각 절차와 예측은 실행 전에 적어 둡니다. 데이터셋 판본은 고정하고, 공식 테스트 세트는 쓰지 않으며, 코드는 결과 파일에 지문으로 기록합니다. 차이 없는 결과도 다른 결과처럼 공개합니다.

절차서에는 읽을 셀도 미리 적습니다. 셀은 데이터 크기와 업데이트 횟수의 한 조합입니다. 사전 등록된 셀은 실행 전에 고정합니다. 재현 실험에서는 네 셀을 실행 전에 등록했지만, 이전 실험을 본 뒤에 골랐습니다. 독자가 그 셀들을 조금 덜 믿어야 하므로 그 사실을 밝혀 둡니다.

VIII

실질적인가, 아닌가

섞인 코드마다 손실이 같지는 않습니다. 다섯 개 중 가장 좋은 것과 가장 나쁜 것의 폭(시드에 걸친 평균)이 코드만에서 오는 잡음의 크기입니다. 진짜 계층이 섞인 코드의 평균을 그 폭보다 더 크게 앞설 때 그 차이를 실질적이라고 부릅니다. 그보다 작으면 우연히 뽑은 섞기 때문일 수 있으므로 실질적이지 않은 경향이라고 부릅니다. 또 다른 수치인 라벨 사용 차이는 라벨을 가렸을 때 손실이 오르는 폭으로, 모델이 라벨을 쓰는지를 알려 줄 뿐 계층이 섞인 코드보다 나은지를 알려 주지는 않습니다.

IX

H2를 위한 장난감 세계

H2 파일럿 실험은 텍스트 대신 장난감 세계를 씁니다. 임의의 사실과, 그중 둘이나 셋이 필요한 규칙(10으로 나눈 나머지 덧셈)을 두어, 모델이 외운 것과 계산한 것을 구분할 수 있게 합니다. H1과 마찬가지로 예측은 각 실행 전에 쓰고 판정하는 크기는 미리 정합니다. 대부분의 파일럿에서 메모리는 오라클입니다. 올바른 사실을 문맥에 넣으므로 검색의 비용과 오류는 무시되고, 파일럿 4와 6만 무작위 치환과 무작위 방해 항목으로 검색을 망가뜨립니다. 자세한 내용과 수치: H2 파일럿 실험.

X

결과 읽는 법

천분의 일, 이천분의 일 냇/바이트 정도의 차이는 시드 사이나 섞인 코드 사이의 변동보다 작으므로, 유의성을 주장하지 않고 절약한 데이터 비율로 환산하지도 않습니다. 생각을 바꿀 조건은 진짜 계층이 이 편차보다 큰 차이로 꾸준히 1위가 되고, 더 큰 사전학습 모델에서도 같은 결과가 나오는 것입니다.

XI

파일

이 노트의 모든 수치는 내려받을 수 있는 파일에서 나옵니다. 더 긴 학습: 결과 및 절차. 다섯 가지 섞인 코드: 결과 및 절차. 3단계 분류: 결과 및 절차. 결과는 JSON, 절차는 Markdown입니다.

이후 실험: 데이터 양 스윕: 결과 및 절차. 정규화한 소량 데이터: 결과 및 절차. 새 시드로 재현: 결과 및 절차. 다른 범주: 결과 및 절차. 형식은 같습니다.

더 큰 모델: 결과 및 절차. 더 큰 모델, 다른 범주: 결과 및 절차. 더 큰 모델, 더 강한 정규화: 결과 및 절차. 형식은 같습니다.

맨 위로