내일의 AI

오늘날 모델은 '평평한 수프'로 학습합니다. 수조 개의 단어가 모두 같은 높이에 놓여 있습니다. 지나가듯 쓴 게시물과 물리학 교과서의 무게가 같습니다. 우리의 출발점이 된 직관은 이렇습니다. AI의 막대한 데이터 욕구 가운데 일부는 아무도 건네주지 않는 위계를 다시 세우는 데 쓰이고 있다는 것입니다.

위계를 활용하는 첫 번째 방법은 학습 데이터를 정리하고 골라내는 것입니다. 그러면 모델은 더 적은 데이터로 더 빨리 배울 수 있습니다. 흩어진 메모 더미 대신 좋은 교과서로 공부하는 학생과 같습니다.

두 번째 방법은 지식을 모델 바깥에 두고, 도서관(구역, 서가, 책, 쪽)처럼 층층이 정리하는 것입니다. 모델은 답하는 데 필요한 깊이까지만 내려갑니다.

아래 내용은 발표된 연구 결과가 아니라 우리 자신의 추론입니다. 확신도는 오늘 기준으로 얼마나 믿는지를 나타내며, 앞으로 달라질 것입니다.

현재 단계에서 우리가 생각하는 것입니다. 핵심은 '잠정'이라는 말입니다.

1. 참조 측면에서 위계는 이미 효과를 입증했다

   외부 데이터베이스, 요약의 나무, 공동체 그래프 모두 효과가 측정되고 재현되었습니다. 이 질문에서 가장 성숙한 부분입니다.

   출처: Borgeaud et al., RETRO (DeepMind, 2021), Sarthi et al., RAPTOR (ICLR 2024), Edge et al., GraphRAG (Microsoft, 2024)

2. 학습 측면에서는 이곳이 최전선이다

   데이터의 순서를 바꾸는 효과는 작고, 잘 고르는 효과가 훨씬 큽니다. 명시적인 위계로 모델을 학습시키는 시도는 거의 이루어지지 않았습니다. 발견할 것이 가장 많은 곳이 바로 여기입니다.

   출처: Zhang et al., Beyond Random Sampling (EACL 2026), Elgaar & Amiri, Curriculum Learning for LLM Pretraining (2026), Gunasekar et al., Textbooks Are All You Need (2023)

3. 가장 유력한 길: 고르지 말고 나누기

   원리는 가중치에, 세부 사항은 메모리에. 이것이 가설 H2이며, 가장 많은 단서가 가리키는 방향입니다.

4. 역사는 신중함을 요구한다

   1984년에 시작된 Cyc 프로젝트처럼 사람이 직접 쓴 위계는 규모를 키우지 못했습니다. 리처드 서튼의 '쓰라린 교훈'에 따르면, 결국 이기는 것은 스스로 배우는 쪽입니다. 그러니 위계는 강요할 것이 아니라 학습시킨 뒤 보이게 만들어야 합니다.

   출처: Richard Sutton, The Bitter Lesson (2019), Cyc (Wikipedia)

• 완성된 위계를 건네주면 모델에게 필요한 데이터는 얼마나 될까?
• 닭이 먼저냐 달걀이 먼저냐의 문제에 빠지지 않고 누가 위계를 만들까?
• 원리(모델 안)와 세부 사항(메모리 안)의 경계는 어디일까?
• 같은 말뭉치에 질문을 몇 번 해야 색인 비용이 본전을 뽑을까?
• 기계가 배운 위계가 사람에게도 읽히는 형태로 남을 수 있을까?

다음 단서

• 작은 실험: 단계 라벨(관찰, 사실, 규칙)이 있는 미니 모델과 없는 미니 모델을 학습시켜 각각 무엇을 기억하는지 비교한다.
• 2026년에 발표된 에이전트용 계층형 메모리와 그 공통 이론 틀을 꼼꼼히 읽는다.
• 에너지를 수치로 따진다: 메모리 조회 비용이 가중치에 저장된 지식과 비교해 어느 정도인지 알아본다.