비용이 로그 수준이 된다

오래 일하는 AI 에이전트에게는 대화, 문서, 지난 행동 같은 기억이 쌓입니다. 가장 간단한 방법은 모든 것을 평평하게 쌓아 두고 더미 전체를 뒤지는 것입니다. 하지만 더미가 커질수록 검색할 때마다 비용이 늘어납니다.

다른 방법은 기억을 나무 모양으로 정리하고, 층마다 요약을 두는 것입니다. 기억이 1,000개라면 열 층 정도, 100만 개라도 스무 층 정도면 충분합니다. 이것이 로그 비용입니다. 메모리가 두 배가 되어도 한 단계만 늘어납니다.

2026년의 한 이론은 이런 시스템들이 겉보기에는 달라도 모두 세 가지 연산을 차례로 수행한다는 것을 보였습니다. 추출: 원본 데이터를 정보 단위로 자릅니다. 묶기: 묶음을 만들고 각 묶음에 대표(대개 요약)를 둡니다. 탐색: 질문과 쓸 수 있는 단어 수가 정해지면 무엇을 읽을지 고릅니다.

핵심 개념은 대표의 자기 충족성입니다. 요약만으로 답할 수 있으면 거기서 멈추고, 부족하면 세부 내용까지 내려갑니다. 저자들은 기존 시스템 11개가 모두 이 틀에 들어맞는다는 것을 보였습니다.

출처: Talebirad et al., Toward a Theory of Hierarchical Memory (2026)

2025~2026년에 가장 많이 쓰이는 에이전트 메모리들은 엄격한 나무 구조에서 멀어지고 있습니다. 사실을 뽑아내 연구자의 카드처럼 서로 연결합니다. 쓸모 있는 카드만 읽으므로 비용은 여전히 낮습니다.

그래서 우리는 H5('나무가 아니라 그래프')의 확신도를 60%에서 65%로 올립니다. 다만 비판자들이 지적한 단서가 있습니다. A-MEM의 링크는 '이 두 메모가 비슷하다'고만 말할 뿐, 왜 비슷한지는 말하지 않습니다. 진정한 지식의 위계에는 관계 자체를 밝혀 주는 링크가 필요할 것입니다.

H5 · 나무가 아니라 그래프 (65 %)

솔직히 말하면 로그 비용은 이상입니다. 균형 잡힌 나무와 믿을 만한 요약을 전제로 합니다. 실제로는 나무를 만들기 위해 요약을 쓰는 모델 호출 비용이 들고, 나무 위쪽에서 길을 잘못 들면 아래쪽의 정보를 놓칩니다. 그래서 많은 시스템이 여러 가지를 동시에 읽습니다.

논문들이 주로 재는 것은 사용한 단어 수와 답의 정확도이고, 이론적인 비용을 재는 경우는 드뭅니다. 그래서 상태는 '유망'으로 둡니다. 효과는 분명하고 극적일 때가 많지만, '로그'라는 말은 경향을 나타낼 뿐 보장은 아닙니다.

되풀이해 나타나는 약점이 세 가지 있습니다. 길 안내: 내려가기 시작할 때 잘못 고르면 되돌리기 어렵습니다. 세부 손실: 요약은 반드시 무언가를 버리는데, 버린 것이 답일 때도 있습니다. 관리: 살아 있는 메모리는 끊임없이 바뀌고, 나무를 잘못 재구성하면 비용이 큽니다.

이 연구들은 외부 메모리 쪽에서 H2를 뒷받침합니다. 우리 위계의 '아래층'은 아주 천천히만 늘어나는 비용으로 찾아볼 수 있습니다. 또한 H5도 확인해 줍니다. MemTree, GraphRAG, HORMA는 결국 모두 가지끼리 연결합니다(원본 기억, 개체, 시간상의 연결). 순수한 나무는 결국 그래프가 됩니다.

H2 · 위층은 배우고, 아래층은 찾아본다 (75 %) H5 · 나무가 아니라 그래프 (65 %)

OrigoTech의 기사들을 직접 나무 모양(주제, 하위 주제, 기사, 문단)으로 정리한 뒤, 여러 질문에 대해 평평하게 읽을 때와 나무를 따라 내려갈 때 각각 몇 단어를 읽어야 하는지 잽니다. 사이트 규모가 두 배가 될 때마다 반복해, 곡선이 정말 로그를 따르는지 확인합니다.