내일의 AI
KO
FrançaisEnglishEspañolItalianoDeutschPortuguês日本語

← 노트로 돌아가기

노트의 서고

출처

노트에 나오는 모든 참고 문헌을 처음 등장한 부분별로 정리하고, 각 문헌을 인용한 카드와 함께 실었습니다.

55 개 출처 업데이트

I

출발점

  1. Allen-Zhu & Li, Physics of Language Models 3.3 (2024)

    인용된 곳: 모델의 기억에는 한계가 있다잡음은 비싸고, 라벨은 도움이 된다H1 · 데이터 욕구의 일부는 위계가 없어서 생긴다

II

배우기 위한 위계

  1. Gunasekar et al., Textbooks Are All You Need (2023)

    인용된 곳: 양보다 질학습 측면에서는 이곳이 최전선이다

  2. Zhang et al., Beyond Random Sampling (EACL 2026)

    인용된 곳: 순서대로 배우면 도움이 된다……H1 · 데이터 욕구의 일부는 위계가 없어서 생긴다학습 측면에서는 이곳이 최전선이다↳ 순서대로 배우기

  3. Elgaar & Amiri, Curriculum Learning for LLM Pretraining (2026)

    인용된 곳: ……하지만 어디서나 그렇지는 않다학습 측면에서는 이곳이 최전선이다↳ 순서대로 배우기

  4. Sorscher et al., Beyond neural scaling laws (NeurIPS 2022)

    인용된 곳: 똑똑하게 버리기H3 · 규칙 + 예외 = 압축↳ 똑똑하게 버리기

  5. Meta, Large Concept Models (2024)

    인용된 곳: 단어가 아니라 개념으로 생각하기↳ 단어가 아니라 개념으로 생각하기

  6. Shumailov et al., AI models collapse… (Nature, 2024)

    인용된 곳: 복사본의 복사본이라는 함정H4 · 예외가 닻이다

  7. Gerstgrasser et al., Is Model Collapse Inevitable? (2024)

    인용된 곳: 복사본의 복사본이라는 함정H4 · 예외가 닻이다

III

참조하기 위한 위계

  1. Borgeaud et al., RETRO (DeepMind, 2021)

    인용된 곳: 외우기보다 찾아보기지식을 가중치 바깥에 두기H2 · 위층은 배우고, 아래층은 찾아본다참조 측면에서 위계는 이미 효과를 입증했다

  2. Sarthi et al., RAPTOR (ICLR 2024)

    인용된 곳: 요약의 나무H5 · 나무가 아니라 그래프참조 측면에서 위계는 이미 효과를 입증했다

  3. Edge et al., GraphRAG (Microsoft, 2024)

    인용된 곳: 생각의 공동체H5 · 나무가 아니라 그래프참조 측면에서 위계는 이미 효과를 입증했다

  4. Berges et al., Memory Layers at Scale (Meta, 2024)

    인용된 곳: 모델 안의 메모리지식을 가중치 바깥에 두기H2 · 위층은 배우고, 아래층은 찾아본다↳ 모델 안의 메모리

  5. Talebirad et al., Toward a Theory of Hierarchical Memory (2026)

    인용된 곳: 비용이 로그 수준이 된다↳ 비용이 로그 수준이 된다

  6. Hsu et al., HORMA, Organize then Retrieve (2026)

    인용된 곳: 비용이 로그 수준이 된다↳ 비용이 로그 수준이 된다

IV

다른 일곱 갈래 길

  1. DeepSeek-AI, DeepSeek-V3 Technical Report (2024)

    인용된 곳: 모델의 일부만 켜기H6 · 절약은 곱해진다↳ 모델의 일부만 켜기↳ 더 적은 비트로 계산하기

  2. Raposo et al., Mixture-of-Depths (2024)

    인용된 곳: 모델의 일부만 켜기↳ 모델의 일부만 켜기

  3. Chen, Zaharia & Zou, FrugalGPT (2023)

    인용된 곳: 먼저 작은 모델에게 묻기H6 · 절약은 곱해진다↳ 먼저 작은 모델에게 묻기

  4. Ong et al., RouteLLM (ICLR 2025)

    인용된 곳: 먼저 작은 모델에게 묻기↳ 먼저 작은 모델에게 묻기

  5. Cai et al., Large Language Models as Tool Makers (ICLR 2024)

    인용된 곳: 모델이 아니라 프로그램으로 증류하기↳ 모델이 아니라 프로그램으로 증류하기

  6. Google DeepMind, AlphaEvolve (2025)

    인용된 곳: 모델이 아니라 프로그램으로 증류하기↳ 모델이 아니라 프로그램으로 증류하기

  7. Ma et al., The Era of 1-bit LLMs: BitNet b1.58 (2024)

    인용된 곳: 더 적은 비트로 계산하기H6 · 절약은 곱해진다↳ 더 적은 비트로 계산하기

  8. NVIDIA, Pretraining Large Language Models with NVFP4 (2025)

    인용된 곳: 더 적은 비트로 계산하기↳ 더 적은 비트로 계산하기

  9. Modha et al., NorthPole, Science (2023)

    인용된 곳: 기계 자체를 바꾸기진짜 비용은 데이터를 옮기는 데 있다↳ 기계 자체를 바꾸기

  10. Ahmed et al., Universal photonic AI acceleration, Nature (2025)

    인용된 곳: 기계 자체를 바꾸기↳ 기계 자체를 바꾸기

  11. Leviathan, Kalman & Matias, Speculative Decoding (ICML 2023)

    인용된 곳: 확인이 작성보다 싸다↳ 먼저 작은 모델에게 묻기↳ 확인이 작성보다 싸다

  12. Brown et al., Large Language Monkeys (2024)

    인용된 곳: 확인이 작성보다 싸다↳ 확인이 작성보다 싸다

V

가설과 결론

  1. DeepSeek, Engram: Conditional Memory via Scalable Lookup (2026)

    인용된 곳: H2 · 위층은 배우고, 아래층은 찾아본다↳ 모델 안의 메모리

  2. Chhikara et al., Mem0: Scalable Long-Term Memory (2025)

    인용된 곳: H5 · 나무가 아니라 그래프↳ 비용이 로그 수준이 된다

  3. Xu et al., A-MEM: Agentic Memory for LLM Agents (NeurIPS 2025)

    인용된 곳: H5 · 나무가 아니라 그래프↳ 비용이 로그 수준이 된다

  4. Horowitz, Computing's Energy Problem (ISSCC 2014)

    인용된 곳: H6 · 절약은 곱해진다진짜 비용은 데이터를 옮기는 데 있다↳ 더 적은 비트로 계산하기↳ 기계 자체를 바꾸기

  5. Richard Sutton, The Bitter Lesson (2019)

    인용된 곳: 역사는 신중함을 요구한다↳ 단어가 아니라 개념으로 생각하기

  6. Cyc (Wikipedia)

    인용된 곳: 역사는 신중함을 요구한다

VI

심화 페이지

  1. Xie et al., DoReMi: Optimizing Data Mixtures (NeurIPS 2023)

    인용된 곳: ↳ 순서대로 배우기

  2. Lin et al., Rho-1: Not All Tokens Are What You Need (NeurIPS 2024)

    인용된 곳: ↳ 순서대로 배우기↳ 똑똑하게 버리기

  3. OLMo et al., 2 OLMo 2 Furious (Ai2, 2025)

    인용된 곳: ↳ 순서대로 배우기

  4. Predicting Training Re-evaluation Curves (2025)

    인용된 곳: ↳ 순서대로 배우기

  5. Abbas et al., SemDeDup (Meta, 2023)

    인용된 곳: ↳ 똑똑하게 버리기

  6. Penedo et al., The FineWeb Datasets (Hugging Face, 2024)

    인용된 곳: ↳ 똑똑하게 버리기

  7. Li et al., DataComp-LM (2024)

    인용된 곳: ↳ 똑똑하게 버리기

  8. Muennighoff et al., Scaling Data-Constrained Language Models (NeurIPS 2023)

    인용된 곳: ↳ 똑똑하게 버리기

  9. Lample et al., Large Memory Layers with Product Keys (NeurIPS 2019)

    인용된 곳: ↳ 모델 안의 메모리

  10. Lin et al., Continual Learning via Sparse Memory Finetuning (Meta, 2025)

    인용된 곳: ↳ 모델 안의 메모리

  11. Huang et al., Ultra-Sparse Memory Network (ByteDance, ICLR 2025)

    인용된 곳: ↳ 모델 안의 메모리

  12. Behrouz et al., Titans: Learning to Memorize at Test Time (Google, 2025)

    인용된 곳: ↳ 모델 안의 메모리

  13. Packer et al., MemGPT: Towards LLMs as Operating Systems (2023)

    인용된 곳: ↳ 비용이 로그 수준이 된다

  14. Rezazadeh et al., MemTree: Dynamic Tree Memory (2024)

    인용된 곳: ↳ 비용이 로그 수준이 된다

  15. MemForest: Hierarchical Temporal Indexing for Agent Memory (2026)

    인용된 곳: ↳ 비용이 로그 수준이 된다

  16. Pagnoni et al., Byte Latent Transformer (Meta, ACL 2025)

    인용된 곳: ↳ 단어가 아니라 개념으로 생각하기

  17. Hwang, Wang & Gu, H-Net: Dynamic Chunking (2025)

    인용된 곳: ↳ 단어가 아니라 개념으로 생각하기

  18. Wang et al., Hierarchical Reasoning Model (Sapient, 2025)

    인용된 곳: ↳ 단어가 아니라 개념으로 생각하기

  19. ARC Prize, The Hidden Drivers of HRM's Performance (2025)

    인용된 곳: ↳ 단어가 아니라 개념으로 생각하기

  20. Jolicoeur-Martineau, Less is More: Tiny Recursive Model (Samsung, 2025)

    인용된 곳: ↳ 단어가 아니라 개념으로 생각하기

  21. Bae et al., Mixture-of-Recursions (NeurIPS 2025)

    인용된 곳: ↳ 모델의 일부만 켜기

  22. Ambrogio et al., An analog-AI chip for speech recognition, Nature (2023)

    인용된 곳: ↳ 기계 자체를 바꾸기

  23. Li et al., EAGLE-3 (2025)

    인용된 곳: ↳ 확인이 작성보다 싸다

맨 위로