용어집 · 내일의 AI

용어집

이 노트의 전문 용어를 쉽게 풀어 설명합니다. 각 페이지에서 용어가 처음 나오는 곳에는 점선 밑줄이 있고, 이곳으로 연결됩니다.

18 개 용어 업데이트 2026-11-06

토큰

모델이 읽는 글의 조각입니다. 짧은 단어이거나 단어의 일부인 경우가 많습니다. 데이터 양과 요금은 토큰 수로 셉니다.

학습하는 동안 조정되는 숫자입니다. 모델에는 수십억 개가 있고, 그 전체가 모델의 지식을 이룹니다. 거대한 믹서에 달린 수십억 개의 작은 손잡이를 떠올려 보세요.

모델이 배우는 단계입니다. 글을 읽고 다음 내용을 맞히며, 틀릴 때마다 매개변수를 고칩니다. 오래 걸리고 비싸지만 한 번만 합니다.

학습을 마친 모델을 쓰는 일, 곧 질문에 답하는 일입니다. 이 비용은 답할 때마다 들기 때문에 줄이는 것이 중요합니다.

학습 중 모델이 받는 오답 점수입니다. 낮을수록 다음 내용을 잘 맞힙니다. 두 방법을 '같은 손실에서' 비교하는 일이 많습니다.

답을 아는 문제들의 모음으로, 같은 규칙에서 모델을 비교하는 데 씁니다. MMLU, GSM8K, AIME가 그 예입니다.

모델 크기, 데이터 양, 얻는 품질 사이에서 측정된 관계입니다. 작은 학습 결과로 큰 학습의 결과를 예측할 수 있게 해 줍니다.

모델을 '전문가'라 불리는 여러 작은 망으로 나눈 것입니다. 토큰마다 작은 배분기가 몇몇 전문가만 켭니다. 적은 계산으로 큰 지식을 쓰는 셈입니다.

먼저 작고 싼 모델에 묻고, 답이 미덥지 않을 때만 큰 모델로 올라가는 방식입니다. 배분기는 각 질문을 어디로 보낼지 정하는 프로그램입니다. 전문가 혼합에서도 배분기가 같은 방식으로 어떤 전문가를 켤지 고릅니다.

작은 모델이 단어 몇 개를 미리 제안하고, 큰 모델이 한 번에 모두 확인합니다. 최종 문장은 큰 모델의 것과 똑같지만 더 빨리 나옵니다.

모델의 숫자를 각각 더 적은 비트로 쓰는 것입니다. 16비트라면 숫자 하나가 65,536가지 값을 가질 수 있지만, 4비트로는 16가지뿐입니다. 가격을 원 단위로 반올림하는 것처럼, 가벼워지는 대신 조금 덜 정확해집니다.

큰 '선생님' 모델의 지식을 작은 '학생' 모델에게 넘기는 것입니다. 학생을 선생님의 답으로 학습시킵니다. 이 노트에서는 지식을 프로그램으로 증류한다는 표현도 씁니다.

시행착오로 배우는 것입니다. 모델이 시도하고, 점수로 보상을 받거나 받지 못하며, 더 좋은 점수를 받도록 매개변수를 조정합니다. 많은 추론 모델이 이렇게 학습합니다.

답이 맞는지 판단하는 것입니다. 코드라면 테스트, 수학이라면 계산, 또는 다른 모델입니다. 확인하는 일은 찾는 일보다 훨씬 쉬운 경우가 많습니다.

모델이 모든 것을 매개변수에 기억하는 대신 찾아보는 글이나 카드의 저장소입니다. 사전을 통째로 외우지 않고 펼쳐서 찾는 것과 같습니다.

컴퓨터에서는 숫자를 메모리와 계산 장치 사이로 옮기는 데 계산 자체보다 훨씬 많은 에너지와 시간이 듭니다. 대형 모델의 큰 걸림돌 가운데 하나입니다.

모델이 주로 다른 모델이 쓴 글로 배울 때 일어나는 일입니다. 드문 사례가 먼저 사라지고, 세대를 거칠수록 품질이 떨어집니다.

일의 한 부분을 빠르게 해도 도움이 되는 것은 그 부분뿐입니다. 어떤 단계가 시간의 절반을 차지한다면, 그것을 순식간에 끝내도 아낄 수 있는 것은 절반뿐입니다.