심화 · 가설
H2 검증: 장난감 세계 파일럿 실험
H2 '위는 배우고 아래는 찾아본다'에 대한 장난감 세계 파일럿 실험 열 건: 사전 등록한 예측 51개 중 34개가 맞았고, 파일럿 4~7에서 빗나간 것은 대부분 학습 실패이지 반증이 아닙니다. 아주 작은 모델, 지어낸 규칙, 대부분 이상적인 메모리이므로 실제 언어 모델에 대한 증거는 아닙니다.
연구 질문
H2는 파라미터가 귀하므로 추론에 아껴 쓰고, 사실은 외부 메모리에 두어야 한다고 말합니다. 실제 모델에 손대기 전에 장난감 세계를 만들었습니다. 1024개의 개체가 각각 임의의 숫자(그 개체의 사실)를 갖고, 규칙은 두 개체의 숫자를 10으로 나눈 나머지로 더하는 것입니다(다섯 번째 파일럿에서는 세 개체). 시험용 쌍은 학습에 절대 나오지 않으므로, 모델은 규칙을 외우는 것이 아니라 적용해야 합니다.
모델은 2개 층, 너비 64의 트랜스포머이고 2000번 갱신하며 학습합니다. 모든 수치는 시드 5개의 평균이고, 우연 수준은 0.1이며, 판정하는 크기는 1024개체입니다(256은 보고만 하고 판정하지 않습니다). 예측은 각 실행 전에 썼습니다. 다만 두 번째 파일럿부터는 앞선 결과를 본 뒤에 썼으므로 눈가림이 아닙니다. 공개 데이터는 [연구소 페이지](https://huggingface.co/spaces/Kyyzen01/OrigoTech-AI-Research-Lab)에도 있습니다. 파일럿 6~10은 같은 모델과 세계를 쓰며, 학습 길이는 달라집니다(2000~4000번 갱신, 파일럿 10에서는 추가로 미세 조정). 자세한 내용은 각 절차에 있습니다.
파일럿 1: 사실은 가중치에, 아니면 메모리에
개체가 64개일 때 세 조건 모두 제외한 쌍에서 최소 0.9985에 이릅니다. 1024개에서는 사실을 가중치에 담은 모델이 그것을 완벽히 떠올리면서도(사실 정확도 1.0000) 제외한 쌍에서는 0.0973에 그치고, 파라미터를 약 2.6배로 늘려도(너비 128) 0.1235로 우연에 가깝습니다. 이상적인 메모리가 두 사실을 문맥에 넣어 주면 같은 모델이 1.0000에 이릅니다. 예측 5개가 모두 맞았습니다. 자세한 내용: 결과, 절차.
출처: OrigoTech, H2 toy pilot 1: facts in the weights or in a memory (results, JSON; protocol alongside)
파일럿 2: 명시적 단계인가, 더 긴 학습인가
모델이 먼저 두 사실을 적고 나서 더하면(명시적 단계, 학습에서 지도) 메모리 없이도 1024개체에서 1.0000에 이릅니다. 대신 학습을 4000번으로 두 배 늘려도 일반 모델은 0.1285에 머뭅니다(2000번에서는 0.1018). 256개체에서는 더 긴 학습이 2000번의 0.4710에서 0.9393까지 오르며, 시드별로는 0.6965에서 1.0000까지 퍼집니다. 이 장난감에서는 조합하는 데 메모리가 필요하지 않습니다. 다만 단계는 지도된 것이어서 실제 모델에 대해서는 아무것도 말해 주지 않습니다. 예측 5개가 모두 맞았습니다. 자세한 내용: 결과, 절차.
출처: OrigoTech, H2 toy pilot 2: explicit steps or longer training (results, JSON; protocol alongside)
파일럿 3: 사실 갱신
사실이 문맥에 있으면 수정된 사실은 1.0000, 학습에서 본 적 없는 개체도 1.0000인 반면, 메모리 없는 모델은 0.1066과 0.1008입니다. 수정분만으로 가중치를 200번 미세 조정하면 수정된 사실은 0.2376에 이르지만, 건드리지 않은 사실의 정확도는 1.0000에서 0.1337로 떨어집니다. 옛 사실을 다시 섞어 학습(리플레이)하면 건드리지 않은 사실은 0.9975를 유지하지만 수정된 사실은 0.3399에 그칩니다. 예측 6개 중 5개가 맞았고, 틀린 것은 200번 안에 수정이 흡수된다는 예측입니다. 미세 조정 방식은 하나뿐이며 전용 지식 편집기는 쓰지 않았습니다. 자세한 내용: 결과, 절차.
출처: OrigoTech, H2 toy pilot 3: updating facts (results, JSON; protocol alongside)
파일럿 4: 불완전한 검색
가져온 각 항목은 확률 1 − r로 다른 개체의 항목으로 바뀝니다. r = 0.9, 0.7, 0.5에서 정확도는 0.8366, 0.5604, 0.3306으로 r² + (1 − r²) × 0.1(0.829, 0.541, 0.325)에 가깝습니다. 두 항목이 모두 맞아야 하고, 아니면 답은 우연입니다. 메모리 없는 단계형 모델은 0.9997이므로, 메모리 모델은 r = 0.9에서 이미 그보다 0.10 넘게 낮습니다. 방해 항목 실험은 결론에 이르지 못했습니다. 무작위 방해 항목 4개로 학습한 모델은 규칙을 배우지 못했고(0.1163), 8개에서 어떻게 되는지는 읽을 수 없습니다. 예측 5개 중 3개가 맞았고 틀린 2개는 학습 실패입니다. 무작위 치환일 뿐 실제 검색 엔진이 아니며 검색 비용은 측정하지 않았습니다. 자세한 내용: 결과, 절차.
출처: OrigoTech, H2 toy pilot 4: imperfect retrieval (results, JSON; protocol alongside)
파일럿 5: 사실 세 개
더할 사실이 셋일 때, 한 번에 처리하면 0.0989, 일반 명시적 단계는 0.1215입니다. 세 사실은 0.9999로 떠올리는데도 그렇습니다. 중간 부분합을 하나 더하면 0.9998로 오릅니다. 외부 메모리 모델의 평균은 0.2659(시드별 0.0985에서 0.9285)이고, 학습이 매우 늦으며 이번 실행에서는 시드 다섯 중 하나만 규칙을 배웠습니다. 예측 5개 중 3개가 맞았고 틀린 2개는 2000번 안의 학습 실패이므로 조합에 반하는 증거가 아닙니다. 장난감 규칙 하나, 모델 크기 하나입니다. 자세한 내용: 결과, 절차.
출처: OrigoTech, H2 toy pilot 5: three-fact composition (results, JSON; protocol alongside)
파일럿 6: 방해 항목과 커리큘럼
여기서는 메모리에 무작위 방해 항목도 들어 있습니다. 방해 항목이 4개일 때 4000번 학습한 모델은 제외한 쌍에서 0.2456(시드별 0.0955에서 0.7690)에 이르고, 커리큘럼(방해 항목 0개, 다음 2개, 다음 4개)으로 학습한 모델은 0.3856(0.1275에서 0.7440)에 이릅니다. 8개일 때 커리큘럼 모델은 0.1052에 머물러 우연 수준이며, 방해 항목이 없는 같은 형식은 0.9999였습니다. 가져온 사실에 대한 대조 검사가 여러 칸에서 실패해(예: 방해 항목 8개에서 0.1440과 0.1666) 다른 결과는 읽을 수 없으므로 질문은 열려 있습니다. 예측 5개 중 1개가 맞았고 틀린 4개는 학습 실패입니다. 깨끗한 기준은 2000번, 나머지는 4000번 학습해 짝이 맞지 않습니다. 무작위 방해 항목만 다뤘습니다. 자세한 내용: 결과, 절차.
출처: OrigoTech, H2 toy pilot 6: distractors and a curriculum (results, JSON; protocol alongside)
파일럿 7: 사실 세 개, 더 긴 학습
사실이 셋이고 4000번 갱신하면 외부 메모리 모델의 평균은 0.3286(시드별 0.0955에서 0.8415, 0.90에 닿은 시드는 없음)이고, 2000번에서는 0.1046이었습니다. 먼저 사실 둘로 1500번 예열한 뒤 셋으로 넘어가면 평균이 0.6981(0.1230에서 0.9995, 메모리만 쓸 때보다 +0.3695)로 오르지만 시드 간 편차가 큽니다. 중간 합이 없는 일반 명시적 단계는 0.1645(0.1030에서 0.2425)에 머뭅니다. 세 사실은 세 조건 모두에서 1.0000으로 떠올립니다. 예측 5개 중 2개가 맞았습니다(커리큘럼은 메모리만 쓸 때와 같거나 낫고, 사실은 떠올려집니다). 틀린 것은 학습 실패이고, 그중 한 칸은 운 좋은 시드 때문입니다. 예열 길이는 하나, 장난감 규칙도 하나입니다. 자세한 내용: 결과, 절차.
출처: OrigoTech, H2 toy pilot 7: three facts, longer training (results, JSON; protocol alongside)
파일럿 8: 자주 나오는 것은 가중치에, 드문 것은 메모리에
개체를 지프 법칙으로 뽑으면(자주 나오는 것은 소수, 드문 것은 다수) 메모리 없는 모델은 자주 나오는 개체의 쌍에서 0.9520, 드문 개체의 쌍에서 0.9260이므로 드문 사실도 가중치 안에서 배웁니다. 하이브리드(자주 나오는 사실은 가중치, 드문 사실은 메모리)는 0.9904와 0.9926, 전부 메모리에 두는 모델은 1.0000과 0.9999입니다. 빈도로 가중하면 하이브리드는 전체 메모리보다 0.0024 낮습니다(0.9976 대 1.0000). 예측 5개 중 3개가 맞았고, 틀린 2개는 드문 사실은 가중치에서 배우지 못할 것이라는 예측과 하이브리드가 전체 메모리와 같거나 나을 것이라는 예측입니다. 지프 분할은 하나뿐이고, 자주 나오는 사실은 조합한 것이 아니라 외웠을 수 있습니다. 검색은 이상적입니다. 자세한 내용: 결과, 절차.
파일럿 9: 규칙 예시는 몇 개나 필요한가
쌍의 2% 또는 5%만으로 학습해도 외부 메모리 모델은 제외한 쌍에서 1.0000에 이릅니다(20%에서 0.9977, 전체에서 1.0000). 메모리가 없으면(명시적 단계) 2%에서 0.9998이지만 5%에서는 0.9132(시드별 0.5960에서 1.0000)이고, 전체 쌍에서는 0.9980입니다. 예측 5개 중 4개가 맞았고, 틀린 1개(쌍이 많아져도 해가 되지 않는다)는 메모리 없이 2%가 100%보다 0.0018 높아서 어긋났습니다. 규칙이 쓰는 숫자 쌍은 100가지뿐이어서 여기서는 적은 예시로 충분합니다. 이는 장난감에만 해당하며 실제 모델에 대해서는 아무것도 말해 주지 않습니다. 검색은 이상적입니다. 자세한 내용: 결과, 절차.
출처: OrigoTech, H2 toy pilot 9: how many rule examples (results, JSON; protocol alongside)
파일럿 10: 더 길거나 더 강한 갱신
1000번 갱신 뒤, 수정한 사실을 옛 사실의 리플레이와 함께 미세 조정하면 수정한 쌍에서 0.5310, 학습률을 세 배로 하면 0.8212(시드별 0.6720에서 0.9665)에 이르고, 건드리지 않은 사실은 0.9876으로 유지됩니다. 리플레이 없이 학습률이 작으면 건드리지 않은 사실은 0.2092로 떨어지고 수정한 쌍도 0.2138에 그칩니다. 리플레이와 함께 수정 행의 비중을 높이면 0.4054로, 단순 리플레이보다 낮습니다(차이 −0.1256). 미세 조정 뒤에도 학습에서 본 적 없는 개체는 우연 수준(0.099에서 0.103)에 머물지만, 외부 메모리는 갱신 없이 수정한 쌍에서 0.9998, 새 개체에서 1.0000입니다. 예측 5개 중 3개가 맞았고, 틀린 것은 리플레이 없이도 망각이 제한적일 것(0.2092로, 기대한 0.50 미만)이라는 예측과 수정 비중을 높이면 도움이 될 것이라는 예측입니다. 미세 조정 방식 네 가지에 값은 각각 하나이고, 탐색은 하지 않았으며 전용 지식 편집기는 쓰지 않았습니다. 자세한 내용: 결과, 절차.
출처: OrigoTech, H2 toy pilot 10: longer or stronger updates (results, JSON; protocol alongside)
해석: 장난감 세계가 시사하는 것
이 장난감 세계에서는 저장된 많은 사실을 한 번에 조합하는 것이 어려운 부분이고, 두 가지가 이를 해결합니다. 이상적인 외부 메모리, 또는 사실을 한 단계씩 적어 내려가는 것입니다. 메모리가 분명하게 더해 주는 것은 갱신입니다. 메모리가 있으면 즉시 되고, 가중치 안에서는 느리며, 옛 사실을 리플레이하지 않으면 매우 잘 잊습니다(리플레이와 더 큰 학습률이면 1000번 갱신 뒤 수정이 0.8212에 이릅니다). 검색이 나빠질수록 그 이점은 줄어듭니다. 사실이 셋이면 사실을 적는 것만으로는 부족하고 중간 합이 필요합니다. 사실 둘로 하는 예열은 평균적으로 도움이 되지만(0.6981 대 0.3286) 시드마다 차이가 큽니다. 자주 나오는 사실을 가중치에 두는 하이브리드는 전부 메모리에 두는 것과 구분되지 않았고, 이 장난감에서는 규칙 예시가 적어도 충분했습니다. 방해 항목 문제는 열려 있습니다. 사전 등록한 예측 51개 중 34개가 맞았고(5/5, 5/5, 5/6, 3/5, 3/5, 1/5, 2/5, 3/5, 4/5, 3/5), 파일럿 4~7에서 빗나간 것은 대부분 학습 실패이지 반증이 아니지만, 파일럿 8~10에서 빗나간 것은 측정된 결과입니다.
이 숫자가 증명하지 않는 것
장난감 세계이며, 규칙은 하나(10으로 나눈 나머지 덧셈), 사실은 임의이고 서로 독립이며, 모델은 작고, 시드는 5개입니다. 검색은 이상적이고, 무작위 치환이나 무작위 방해 항목으로 망가뜨린 파일럿 4와 6만 예외이며, 검색 비용은 측정하지 않았습니다. 명시적 단계는 지도된 추론으로, 실제 언어 모델에서는 보이지 않았습니다. 크기 256은 보고만 하고 판정하지 않았고, 유의성 검정은 하지 않았으며, 절약된 데이터의 비율도 추정하지 않았습니다. 첫 파일럿 이후의 예측은 앞선 결과를 알고 쓴 것입니다. 파일럿 1은 3000번으로 시작한 첫 시도를 시간 문제로 중단한 뒤 2000번으로 실행했고, 판정 전에 CPU에서 소요 시간 확인을 했으며 저자들은 그 정확도를 보았습니다. 파일럿 6에서 깨끗한 기준은 2000번, 나머지는 4000번 학습해 짝이 맞지 않습니다. 파일럿 7과 8은 학습 길이도 머리/꼬리 분할도 하나뿐이고, 파일럿 10은 미세 조정 방식 네 가지에 값이 각각 하나입니다. 파일럿 6~10에서 맞은 13개(25개 중) 예측도 앞선 파일럿의 결과를 알고 쓴 것입니다. 이 파일럿들은 실제 모델에 대해 H2를 입증하지도 반박하지도 않으며, 64%의 신뢰도는 바뀌지 않았습니다.
다른 심화 페이지
출처
- OrigoTech, H2 toy pilot 1: facts in the weights or in a memory (results, JSON; protocol alongside)
- OrigoTech, H2 toy pilot 2: explicit steps or longer training (results, JSON; protocol alongside)
- OrigoTech, H2 toy pilot 3: updating facts (results, JSON; protocol alongside)
- OrigoTech, H2 toy pilot 4: imperfect retrieval (results, JSON; protocol alongside)
- OrigoTech, H2 toy pilot 5: three-fact composition (results, JSON; protocol alongside)
- OrigoTech, H2 toy pilot 6: distractors and a curriculum (results, JSON; protocol alongside)
- OrigoTech, H2 toy pilot 7: three facts, longer training (results, JSON; protocol alongside)
- OrigoTech, H2 toy pilot 8: frequent facts in the weights, rare ones in memory (results, JSON; protocol alongside)
- OrigoTech, H2 toy pilot 9: how many rule examples (results, JSON; protocol alongside)
- OrigoTech, H2 toy pilot 10: longer or stronger updates (results, JSON; protocol alongside)