유망
Memory Layers at Scale(Meta)
최대 80억 매개변수의 기반 모델에 최대 1,280억 개의 메모리 매개변수를 더하고, 1조 토큰으로 학습했습니다. 메모리를 갖춘 모델은 두 배 넘는 계산을 쓰는 조밀한 모델을 앞섰고, 계산량과 매개변수 수가 같은 '전문가 혼합(MoE)' 모델도 앞섰습니다. 효과는 사실을 묻는 질문에서 가장 뚜렷했습니다.
심화 · 제III장
모델 안의 메모리
기존 모델에서는 모든 단어가 네트워크의 모든 '서랍'을 거칩니다. 아무 상관 없는 서랍까지 말입니다. 그렇다면 거대한 카드 목록을 덧붙여, 모델이 필요한 카드 두세 장만 열게 하면 어떨까요?
핵심만 간단히
언어 모델은 지식의 상당 부분을 피드포워드 층이라는 곳에 저장합니다. 이 층은 메모리처럼 작동하지만, 조밀한 메모리입니다. 모든 단어가 층 전체를 거치므로 매번 계산이 듭니다.
메모리 레이어는 이를 키 → 값 쌍으로 이루어진 거대한 표로 대체하거나 보완합니다. 모델은 단어마다 몇 개의 값만 읽습니다. 그래서 계산을 늘리지 않고도 매개변수를 수십억 개 더할 수 있습니다. 아무도 더 많은 책을 읽지 않는데 장서만 늘어나는 도서관과 같습니다.
작동 방식
문제는 100만 개의 키 가운데 가장 좋은 것을 찾으려면 보통 100만 번 비교해야 한다는 점입니다. 곱 키(Lample 등, 2019)의 요령은 이렇습니다. 질의를 앞쪽과 뒤쪽 절반으로 나누고, 각각을 1,000개의 '반쪽 키' 목록과 비교한 다음, 가장 좋은 것끼리 조합합니다. 그러면 1,000 × 1,000 = 100만 칸 가운데서 단 2,000번의 비교로 정답을 얻습니다.
이어서 모델은 값 몇 개(예를 들어 서른 개쯤)를 읽어 가중 평균을 냅니다. 이 가운데 얼마를 다음 계산에 넣을지는 '게이트'가 정합니다.
출처: Lample et al., Large Memory Layers with Product Keys (NeurIPS 2019)
그림 D — 다 열지 않고 맞는 카드 찾기
여기서는 8 + 8번의 비교만으로 64칸 가운데 가장 좋은 칸을 찾습니다. 1,000 + 1,000번을 비교하면 100만 칸 가운데서 고를 수 있습니다.
설명용 그림입니다. 개념을 보여 줄 뿐 측정값이 아닙니다.
연구가 보여 준 것
유망
Engram(DeepSeek, 2026년 1월)
글 속의 짧은 단어 묶음을 바탕으로 일정한 시간 안에 조회하는 메모리입니다. 크기와 계산량을 맞춘 비교에서 270억 매개변수 모델은 MMLU에서 3점, 추론(BBH)에서 5점 올랐고, 긴 글에서 정보를 찾는 시험에서는 84.2%에서 97%로 뛰었습니다. 1,000억 매개변수 규모의 표는 귀하고 비싼 GPU 메모리가 아니라 컴퓨터의 일반 메모리에 둘 수 있으며, 처리 속도 손실은 3% 미만입니다. 이 메모리를 끄면 사실 지식이 무너집니다(TriviaQA가 원래 수준의 29%로 떨어짐). 사실이 바로 그곳에 저장되어 있다는 뜻입니다.
출처: DeepSeek, Engram: Conditional Memory via Scalable Lookup (2026)
유망
잊지 않고 배우기(Meta, 2025)
사실 하나가 쓰는 칸은 몇 개뿐이므로 그 칸만 고칠 수 있습니다. 새 사실을 배울 때, 전체를 다시 학습한 기존 모델은 다른 질문에서 성능의 89%를 잃었고, LoRA 방식으로도 71%를 잃었습니다. 메모리 칸만 골라 고치면 같은 만큼 배우고도 11%만 떨어졌습니다.
출처: Lin et al., Continual Learning via Sparse Memory Finetuning (Meta, 2025)
더 나아가기: 더 빠르게, 그리고 읽으면서 배우는 메모리
메모리에는 두 계열이 보이기 시작했습니다. 한 번 학습하면 바뀌지 않는 고정된 표(Memory Layers, UltraMem, Engram), 그리고 Titans처럼 읽는 동안 기록되는 메모리입니다.
Titans는 자신이 놀란 것을 기억합니다. 예외야말로 기억할 가치가 있다는 우리 가설 H4의 생각 그대로입니다. 예상 밖의 것만 기억하는 기계는 '규칙 + 예외' 방식의 압축을 하고 있는 셈입니다.
유망
UltraMem: 전문가 혼합보다 빠른 메모리
전문가 혼합(MoE) 모델은 계산을 아끼지만, 실제로 쓸 때는 메모리에서 많은 매개변수를 불러와야 해서 그만큼 느려집니다. UltraMem(ByteDance, 메모리 칸 2,000만 개)은 크기와 계산량이 같은 MoE보다 최대 6배 빠르고, 사용 비용을 최대 83% 줄이며, 조밀한 모델과 거의 같은 속도로 돌아갑니다. 칸을 늘려도 속도는 거의 떨어지지 않습니다.
출처: Huang et al., Ultra-Sparse Memory Network (ByteDance, ICLR 2025)
유망
Titans: 읽으면서 배우기
Google의 모델에서는 장기 기억이 작은 네트워크로 되어 있어, 읽는 동안 자기 가중치를 고칩니다. 놀란 것(오차의 크기로 잽니다)을 기록하고, 나머지는 조금씩 잊습니다. 단기 기억 역할은 기존의 어텐션이 맡습니다. 그 결과 200만 토큰이 넘는 맥락을 다룰 수 있고, 건초 더미에서 바늘 찾기 시험에서는 더 큰 모델보다 좋은 성적을 냈습니다.
출처: Behrouz et al., Titans: Learning to Memorize at Test Time (Google, 2025)
우리에게 왜 중요한가
모델 내부에서 지식과 추론을 분리할 수 있다는 것을 보여 주는, 지금까지 가장 직접적인 증거입니다. Engram에서 메모리를 끊으면 사실 지식은 무너지지만 다른 능력까지 무너지지는 않습니다. 게다가 메모리 덕분에 네트워크의 앞쪽 층이 추론에 쓰일 여유가 생깁니다.
또한 비용을 줄이는 길이기도 합니다. 메모리는 값싼 일반 RAM에 둘 수 있고, 업데이트할 때도 모델 전체를 다시 학습하지 않고 몇몇 칸만 고치면 됩니다.
한계
거대한 표를 읽는 일은 계산은 가볍지만 메모리 대역폭을 많이 씁니다. 효율적으로 돌리려면 전용 구현이 필요했습니다. 공개된 실험은 Meta에서 기반 모델 80억 매개변수, DeepSeek에서 270억 매개변수까지입니다. 그리고 이 메모리는 여전히 내부에 있어 들여다볼 수 없습니다. 외부 데이터베이스와 달리, 아직은 그 안에서 출처를 읽어 내거나 인용할 수 없습니다.
우리 가설에 주는 의미
H2('위층은 배우고, 아래층은 찾아본다')를 강하게 뒷받침하는 결과로, 확신도를 70%에서 75%로 올립니다. Engram에서는 매개변수의 약 4분의 1을 메모리에, 4분의 3을 계산에 배분할 때 결과가 가장 좋았습니다. 열린 질문 3번이 묻는 경계에 대해 처음으로 얻은 구체적인 수치입니다.
시험해 보고 싶은 것
메모리 레이어가 있는 미니 모델에 사실 목록을 가르친 뒤, 그 사실의 칸만 건드려 하나만 고칩니다. 고친 내용이 자리 잡는지, 다른 것은 잊지 않는지 확인하고, 같은 주제의 칸들이 저절로 모이는지 살펴봅니다. 그렇다면 위계가 스스로 나타난 셈입니다.
다른 심화 페이지
출처
- Lample et al., Large Memory Layers with Product Keys (NeurIPS 2019)
- Berges et al., Memory Layers at Scale (Meta, 2024)
- DeepSeek, Engram: Conditional Memory via Scalable Lookup (2026)
- Lin et al., Continual Learning via Sparse Memory Finetuning (Meta, 2025)
- Huang et al., Ultra-Sparse Memory Network (ByteDance, ICLR 2025)
- Behrouz et al., Titans: Learning to Memorize at Test Time (Google, 2025)