내일의 AI 용어집
KO

← 노트로 돌아가기

심화 · 가설

H1 검증: 실험 기록

계층은 합성 데이터에서 초기에 도움이 되지만, 실제 텍스트 실험 열한 번에서는 진짜 계층이 섞인 라벨보다 실질적으로 낫다는 결과가 없었고, 재현된 것은 아주 작은 경향뿐입니다. 절차와 한계를 확인해 보세요.

추측 업데이트

I

연구 질문

H1은 데이터 구조를 제공하면 모델이 더 적은 예제로 학습할 수 있는지 묻습니다. 같은 예산에서 라벨 없음, 평면, 계층, 섞인 라벨을 비교했습니다.

II

네 가지 합성 실험

초기 세 시드와 새로운 다섯 시드에서 계층의 초기 학습이 빨랐습니다. 구조를 섞는 대조 실험과 다섯 섞기 방식 및 다섯 시드를 교차한 실험도 수행했습니다. 100단계 평균 손실은 2.0061 대 2.0988, 500단계는 2.0003 대 2.0045였습니다. 시드별 다섯 비교는 기준을 공유하므로 독립적이지 않습니다.

III

실제 텍스트 첫 실험

20 Newsgroups의 8개 범주에서 처음부터 초기화한 작은 바이트 모델을 검증 메시지 640개와 세 시드로 평가했습니다. 200단계 손실은 올바른 계층 2.73333, 섞인 계층 2.73326으로 뚜렷한 이점이 없었습니다. 공식 테스트 세트는 사용하지 않았습니다. 사실 라벨이 없는 모델의 손실이 가장 낮았습니다(2.72897, 평면 라벨은 2.73162). 현재 모델은 아직 라벨을 활용하지 못하므로, 이 테스트로는 두 계층을 구분할 수 없었습니다. 더 탄탄한 버전은 아래 절에서 다룹니다.

출처: SetFit, 20 Newsgroups dataset

IV

더 긴 학습, 라벨 제거

첫 실제 텍스트 실험은 모델이 라벨을 쓰기 전인 200단계에서 멈췄습니다. 같은 작은 모델을 800단계 학습시키고(시드 세 개, 같은 여덟 범주) 각 체크포인트에서 라벨을 가린 상태로도 평가했습니다. 라벨 없이 학습한 모델에서는 이 차이가 0입니다. 800단계에서는 평균적으로 평면 라벨 0.009 냇/바이트, 그룹만 0.020, 진짜 계층 0.025, 섞인 라벨 0.031이어서 이제 라벨이 쓰이고 있음을 알 수 있습니다.

그런데도 800단계에서 진짜 계층과 섞인 라벨은 같은 손실 2.5210 냇/바이트에 도달합니다. 라벨이 없을 때는 2.5292, 컴퓨터/여가 그룹만 쓸 때는 2.5170입니다. 자세한 내용: 결과, 절차.

출처: OrigoTech, H1 real-text run: longer training with labels removed (results, JSON; protocol alongside)

V

다섯 가지 섞인 코드

섞기 한 번은 운이 좋았을 수도 있습니다. 컴퓨터/여가 구분을 유지하지 않는 서로 다른 섞인 코드 다섯 가지와 시드 다섯 개로 시험을 반복했습니다. 800단계에서 진짜 계층은 2.5279, 섞인 코드 다섯 개의 평균은 2.5295로 차이는 0.0016 냇/바이트입니다.

진짜 계층은 시드 다섯 개 중 네 개에서 이 평균을 앞서지만, 여섯 코드 중 순위는 1위부터 꼴찌까지 오가고(3위, 1위, 6위, 1위, 2위), 섞인 코드 다섯 개끼리의 편차만 해도 약 0.005입니다. 차이가 이 편차보다 작으므로 우리는 이를 차이 없음(무효) 결과로 읽습니다.

출처: OrigoTech, H1 real-text run: five scrambled codes (results, JSON; protocol alongside)

VI

3단계 분류

범주 네 개씩의 그룹 두 개는 얇은 계층입니다. 3단계(주제 4개, 하위 주제 8개, 말단 16개)로 배열한 뉴스그룹 16개를 사용하고, 부분 코드(주제만, 그다음 주제와 하위 주제)도 추가했습니다. 800단계에서 코드를 붙인 모든 변형은 2.5187에서 2.5217 냇/바이트 사이에 있고, 라벨이 전혀 없을 때의 2.5153이 가장 낮습니다.

진짜 계층(2.5198)은 섞인 코드 다섯 개의 평균(2.5206)을 시드 다섯 개 중 네 개에서 앞서지만 차이는 0.0007에 불과하며, 이번에도 섞인 코드끼리의 편차 0.005보다 작습니다. 단계를 하나 더해도 뚜렷한 도움이 되지 않습니다. 단계별(주제, 하위 주제, 말단 순) 손실 변화는 +0.0046, −0.0013, +0.0012입니다.

출처: OrigoTech, H1 real-text run: three-level taxonomy (results, JSON; protocol alongside)

VII

데이터 양 스윕: 범주당 30·100·300개

H1의 생각은 데이터가 적을 때 구조가 가장 도움이 될 것이라는 것입니다. 그래서 같은 작은 모델을 범주당 메시지 30개, 100개, 300개로 800단계 학습시키고(작은 집합은 큰 집합 안에 포함됩니다. 시드 다섯 개, 섞인 코드 다섯 가지, 같은 여덟 범주) 예측 세 가지를 미리 적었습니다. 범주당 300개에서는 이전 모습이 다시 나타납니다. 진짜 계층은 섞인 코드보다 0.0016 냇/바이트 낮고, 이는 코드 사이의 편차 0.0052보다 작습니다(예측 1, 적중).

범주당 30개에서는 모델이 과적합합니다. 라벨이 없을 때 따로 둔 메시지에서의 손실이 200단계의 2.78에서 800단계의 4.12로 오릅니다. 같은 240개 메시지를 약 80번 되풀이해 보기 때문입니다. 진짜 계층은 섞인 코드보다 0.0124 낮고 시드 다섯 개 중 네 개에서 앞서지만, 섞인 코드끼리 이미 0.0891이나 흩어져 있어 그 차이는 잡음에 묻힙니다(예측 3, 범주당 30개에서 뚜렷한 차이, 빗나감). 데이터가 적을수록 모델이 라벨에 더 기대는 것은 사실이어서, 범주당 30개에서 진짜 계층의 라벨을 가리면 손실이 0.1243 오르고, 300개에서는 0.0474 오릅니다(예측 2, 적중). 라벨 없는 모델은 범주당 30개와 100개에서 계속 가장 좋습니다. 자세한 내용: 결과, 절차.

출처: OrigoTech, H1 real-text run: data-scale sweep, 30, 100 and 300 per category (results, JSON; protocol alongside)

VIII

소량 데이터에서의 정규화

과적합은 모델이 적은 예를 통째로 외워 버려서, 새로운 예에도 통하는 것을 배우지 못하는 상태입니다. 범주당 30개와 100개에서 흔히 쓰는 브레이크 두 가지를 걸어 시험을 되풀이했습니다. 드롭아웃 0.2(학습 중 무작위 유닛을 끕니다)와 가중치 감쇠 0.1(가중치를 작은 값 쪽으로 끌어당깁니다)입니다. 시드와 섞인 코드는 스윕과 같고, 이번에도 예측 세 가지를 미리 적었습니다.

과적합이 줄었습니다. 범주당 30개, 800단계에서 라벨 없을 때의 손실은 2.8208로, 정규화가 없던 4.12보다 크게 낮고(예측 1, 적중), 진짜 계층의 라벨을 가렸을 때 손실이 오르는 폭도 0.1243에서 0.0448로 줄었습니다(예측 2, 적중). 섞인 코드 사이의 편차는 0.0891에서 0.0073으로 내려갔습니다. 진짜 계층은 범주당 30개에서 시드 다섯 개 중 네 개에서 섞인 코드보다 0.0023 낮고, 100개에서는 거의 같습니다(0.0000, 시드 다섯 개 중 세 개, 편차 0.0020). 예측 3(범주당 30개 또는 100개에서 시드 다섯 개 중 네 개 이상이면서 차이가 편차보다 큼)은 빗나갔습니다. 자세한 내용: 결과, 절차.

출처: OrigoTech, H1 real-text run: regularized small data, dropout 0.2 and weight decay 0.1 (results, JSON; protocol alongside)

IX

새 시드와 새 순열로 재현

직전 실험은 200, 400단계에서 진짜 계층이 섞인 코드보다 조금 낮은 작은 음의 부호를 남겼습니다. 부호 하나는 우연일 수 있으므로, 새 시드 다섯 개와 새로 섞은 코드 다섯 가지로 같은 데이터, 같은 설정에서 시험을 다시 했습니다. 살펴보는 것은 네 개의 셀(범주당 30개와 100개, 200단계와 400단계)이며, 직전 결과를 본 뒤에 골랐기 때문에 시험의 힘이 약해집니다. 예측 세 가지는 미리 적었습니다.

부호는 4개 셀 중 4개에서 음이고(예측 1, 적중), 진짜 계층이 시드 다섯 개 중 네 개 이상에서 이기는 셀은 4개 중 3개이며(예측 2, 적중), 실질적인 차이, 즉 섞인 코드 사이의 편차보다 큰 차이를 보이는 셀은 0개입니다(예측 3, 4개 중 2개 이상, 빗나감). 차이는 0.0001에서 0.0013 냇/바이트이고, 편차는 0.0012에서 0.0037입니다. 자세한 내용: 결과, 절차.

출처: OrigoTech, H1 real-text run: replication with new seeds and permutations (results, JSON; protocol alongside)

X

다른 범주: 과학 대 정치·사회

3단계 분류를 빼면, 지금까지의 모든 실험은 같은 여덟 범주(컴퓨터 네 개, 여가 네 개)를 썼습니다. 재현 실험을 다른 구분으로 되풀이했습니다. 과학 네 그룹(암호, 전자공학, 의학, 우주) 대 정치·사회 네 그룹(총기, 중동, 정치 일반, 기독교)이며, 시드와 섞인 코드는 새것이고 설정은 같습니다. 네 번째 예측은 모델이 실제로 라벨을 쓰는지 확인합니다.

결과: 부호는 4개 셀 중 4개에서 음이고, 진짜 계층이 시드 다섯 개 중 네 개 이상에서 이기는 셀은 4개 중 4개이며, 실질적인 차이를 보이는 셀은 0개입니다. 가장 큰 차이는 0.0016 냇/바이트(범주당 30개, 400단계)이고 편차는 0.0044였습니다. 대조도 성립합니다(예측 4, 적중). 범주당 100개, 800단계에서 라벨을 가리면 손실이 진짜 계층에서는 0.0103, 섞인 코드에서는 0.0110 오르므로, 모델은 라벨이 일관되든 아니든 라벨을 씁니다. 자세한 내용: 결과, 절차.

출처: OrigoTech, H1 real-text run: other category groups, science against politics and society (results, JSON; protocol alongside)

XI

더 큰 모델: 4개 층, 너비 128

지금까지의 모든 실험은 같은 작은 모델(2개 층, 너비 64)을 썼습니다. 계층의 이점이 모델 크기와 함께 커진다면 더 큰 모델에서 드러날 것이므로, 구조만 바꿨습니다. 4개 층, 너비 128이고, 처음 여덟 범주, 범주당 100개, 시드 다섯 개, 섞인 코드 다섯 개, 드롭아웃 0.2, 가중치 감쇠 0.1(재조정 없음)은 같습니다. 읽는 두 셀, 200단계와 400단계는 미리 정했고, 800단계도 보이지만 사전 등록하지 않았습니다.

진짜 계층은 200단계에서 섞인 코드보다 0.0006, 400단계에서 0.0003 낮습니다(차이 −0.0006, −0.0003 냇/바이트). 섞인 코드 사이의 편차는 0.0024와 0.0062입니다. 두 셀 모두 시드 다섯 개 중 세 개에서 이기고, 2개 셀 중 0개가 실질적입니다. 800단계(사전 등록 아님)에서는 부호가 뒤집혀 +0.0005, 시드 다섯 개 중 한 개, 편차 0.0086이었습니다. 즉 차이는 모델 크기와 함께 커지지 않습니다. 모델은 라벨을 실제로 씁니다(가리면 800단계에서 손실이 0.0191 오릅니다). 그래도 800단계에서는 라벨 없는 모델이 여전히 가장 좋았습니다. 2.3925이고, 진짜 계층은 2.3980, 섞인 코드는 2.3975입니다. 자세한 내용: 결과, 절차.

출처: OrigoTech, H1 real-text run: larger model, 4 layers and width 128 (results, JSON; protocol alongside)

XII

더 큰 모델, 다른 범주

결과가 컴퓨터와 여가 범주에 묶여 있는 걸까요? 더 큰 모델은 그대로 두고, 데이터를 다른 구분으로 바꿨습니다. 과학 네 그룹과 정치·사회 네 그룹이며, 시드와 섞인 코드는 새로 정했습니다. 셀과 설정은 같습니다.

차이는 200단계에서 −0.0004(시드 다섯 개 중 세 개, 편차 0.0018), 400단계에서 +0.0002(다섯 개 중 두 개, 편차 0.0050)로, 2개 셀 중 1개가 음이고 실질적인 셀은 0개입니다. 800단계(사전 등록 아님)에서는 −0.0015(다섯 개 중 세 개)로, 편차 0.0078 안입니다. 라벨을 가리면 800단계에서 손실이 0.0179 오르며, 라벨 없는 모델이 다시 가장 좋았습니다(2.3672, 진짜 계층은 2.3753). 자세한 내용: 결과, 절차.

출처: OrigoTech, H1 real-text run: larger model, other categories, science against politics and society (results, JSON; protocol alongside)

XIII

더 강한 정규화: 드롭아웃 0.3, 가중치 감쇠 0.3

첫 실험의 큰 모델은 단지 정규화가 부족했을 수도 있습니다. 여유가 많으면 학습 메시지를 통째로 외울 수 있기 때문입니다. 그 모델과 데이터, 범주는 그대로 두고 두 브레이크를 함께 올려 드롭아웃 0.3, 가중치 감쇠 0.3으로 했습니다(그래서 각각의 효과는 가를 수 없습니다). 시드 다섯 개와 섞인 코드 다섯 개는 새로 정했습니다.

차이는 200단계에서 −0.0008(시드 다섯 개 중 다섯 개, 편차 0.0017), 400단계에서 −0.0010(다섯 개 중 네 개, 편차 0.0032)입니다. 두 셀 모두 음이고 시드 다섯 개 중 네 개 이상에서 이기지만, 실질적인 셀은 0개입니다. 800단계(사전 등록 아님)에서는 부호가 다시 양이 되어 +0.0011(다섯 개 중 한 개, 편차 0.0042)이었습니다. 라벨 없는 모델은 나아졌습니다. 800단계에서 2.3717로, 첫 큰 모델 실험의 2.3925보다 낮습니다(시드가 달라 짝을 짓지 않은 비교). 그 실험은 정규화가 부족했을 가능성이 높다고 봅니다. 라벨을 가리면 손실이 0.0116 오릅니다. 자세한 내용: 결과, 절차.

출처: OrigoTech, H1 real-text run: larger model, stronger regularization, dropout 0.3 and weight decay 0.3 (results, JSON; protocol alongside)

XIV

전체 해석: 재현된, 실질적이지 않은 경향

시드 세 묶음과 범주 구분 두 가지에 걸쳐, 200~400단계에서 진짜 계층은 섞인 코드보다 아주 조금 낮습니다. 차이는 약 0.0002에서 0.0016 냇/바이트, 비율로는 약 0.1%이며, 언제나 섞인 코드 사이의 편차보다 작습니다. 우리는 이를 재현된, 실질적이지 않은 경향이라고 부릅니다. 부호는 다시 나타나지만, 순열 사이의 잡음보다 작은 차이를 효과라고 주장할 수는 없습니다.

그만큼 중요한 결과가 하나 더 있습니다. 거의 모든 셀에서 라벨 없는 모델이 같거나 더 좋았습니다. 일관된 라벨은 틀린 라벨보다 조금 덜 방해될 뿐, 라벨이 없는 경우를 이기지는 못합니다. 첫 번째 범주에서 정규화한 두 실험을 합친 분석(시드 열 개, 섞인 코드 열 가지)도 같은 방향을 가리킵니다. 예를 들어 범주당 100개, 400단계에서는 시드 10개 중 10개, 차이 0.0006, 편차 0.0013입니다. 이는 탐색적 분석으로, 어떤 절차서도 계획하지 않았고 유의성 검정도 아닙니다.

더 큰 모델(실험 세 번)에서 200~400단계의 차이는 −0.0010에서 +0.0002 냇/바이트 사이이고, 6개 셀 중 0개가 실질적이며, 차이는 모델 크기와 함께 커지지 않습니다. 더 강한 정규화가 가장 규칙적인 부호를 보입니다(두 셀 모두 음, 시드 다섯 개 중 다섯 개와 네 개). 그래도 섞인 코드 사이의 편차보다는 작습니다. 800단계에서는 세 실험 모두에서 라벨 없는 모델이 같거나 더 좋았습니다. 우리는 이를 약하고 실질적이지 않은 경향으로 읽으며, 첫 실험의 큰 모델은 정규화가 부족했을 가능성이 높습니다. 유의성도 절약한 데이터 비율도 주장하지 않으며, H1에 대한 신뢰도 55%는 그대로입니다.

XV

이 숫자가 증명하지 않는 것

합성 데이터는 계층에 유리하도록 설계됐습니다. 실제 텍스트 실험은 무작위로 초기화한 작은 바이트 모델을 최대 800단계 학습시켰고, 한 말뭉치에 있는 오래된 영어 메시지의 짧은 앞부분을 썼으며, 범주 구조는 세 가지(네 범주씩 두 그룹으로 나눈 두 방식과 3단계 분류)뿐이고 모두 우리가 골랐습니다. 평가 때도 라벨이 주어집니다. 마지막 두 실험에서 재현한 셀 네 개는 정규화 실험 뒤에 골랐고, 같은 시드가 두 체크포인트에 쓰이므로 서로 독립이 아닙니다. 정규화는 드롭아웃 0.2와 가중치 감쇠 0.1이라는 한 가지 설정이며 최적화하지 않았습니다. 큰 모델 실험이 더한 것은 더 큰 구조 하나(4개 층, 너비 128, 스케일링 법칙이 아닙니다)와 더 강한 설정 하나(드롭아웃 0.3과 가중치 감쇠 0.3, 함께 변경)뿐입니다. 실험 사이의 비교는 시드가 달라 짝을 짓지 않았습니다. 유의성 검정은 하지 않았고, 절약한 데이터 비율을 측정한 것도, 대형 모델의 H1을 입증하거나 반박한 것도 아닙니다. 신뢰도 55%는 유지합니다.

XVI

H10은?

H10은 일시 중지 상태입니다. 공개 Space에는 실험 내보내기 14건과 수치 1,034개가 있습니다. 전체 시리즈는 15라운드이며 번역기 페이지에 자세히 나와 있습니다. 이는 독립적인 발견 수나 품질 점수가 아닙니다. H1 절차와 측정값도 확인할 수 있습니다.

출처: OrigoTech AI Research Lab — H1, H2 and H10 results

맨 위로