明日のAI
JA
FrançaisEnglishEspañolItalianoDeutschPortuguês한국어

← ノートに戻る

ノートの書庫

出典

ノートのすべての参考文献を、最初に登場した部ごとに整理し、それを引用しているカードと一緒に載せています。

55 件の出典 更新日

I

出発点

  1. Allen-Zhu & Li, Physics of Language Models 3.3 (2024)

    引用箇所： モデルの記憶には限りがあるノイズは高くつき、ラベルは役立つH1 · データ需要の一部は、階層がないことから生じている

II

学ぶための階層

  1. Gunasekar et al., Textbooks Are All You Need (2023)

    引用箇所： 量より質学習の面では、ここが最前線

  2. Zhang et al., Beyond Random Sampling (EACL 2026)

    引用箇所： 順番に学ぶと役立つ……H1 · データ需要の一部は、階層がないことから生じている学習の面では、ここが最前線↳ 順番に学ぶ

  3. Elgaar & Amiri, Curriculum Learning for LLM Pretraining (2026)

    引用箇所： ……ただし、どこでもではない学習の面では、ここが最前線↳ 順番に学ぶ

  4. Sorscher et al., Beyond neural scaling laws (NeurIPS 2022)

    引用箇所： 賢く捨てるH3 · 規則＋例外＝圧縮↳ 賢く捨てる

  5. Meta, Large Concept Models (2024)

    引用箇所： 言葉ではなく概念で考える↳ 言葉ではなく概念で考える

  6. Shumailov et al., AI models collapse… (Nature, 2024)

    引用箇所： コピーのコピーという罠H4 · 例外こそが錨になる

  7. Gerstgrasser et al., Is Model Collapse Inevitable? (2024)

    引用箇所： コピーのコピーという罠H4 · 例外こそが錨になる

III

参照するための階層

  1. Borgeaud et al., RETRO (DeepMind, 2021)

    引用箇所： 暗記するより参照する知識を重みの外に置くH2 · 上の層は学び、下の層は参照する参照の面では、階層はすでに有効性を示した

  2. Sarthi et al., RAPTOR (ICLR 2024)

    引用箇所： 要約の木H5 · 木ではなくグラフ参照の面では、階層はすでに有効性を示した

  3. Edge et al., GraphRAG (Microsoft, 2024)

    引用箇所： 考えのコミュニティH5 · 木ではなくグラフ参照の面では、階層はすでに有効性を示した

  4. Berges et al., Memory Layers at Scale (Meta, 2024)

    引用箇所： モデルの中のメモリ知識を重みの外に置くH2 · 上の層は学び、下の層は参照する↳ モデルの中の記憶

  5. Talebirad et al., Toward a Theory of Hierarchical Memory (2026)

    引用箇所： コストが対数的になる↳ コストが対数的になる

  6. Hsu et al., HORMA, Organize then Retrieve (2026)

    引用箇所： コストが対数的になる↳ コストが対数的になる

IV

ほかの七つの道筋

  1. DeepSeek-AI, DeepSeek-V3 Technical Report (2024)

    引用箇所： モデルの一部だけを動かすH6 · 節約は掛け算で効く↳ モデルの一部だけを動かす↳ 少ないビットで計算する

  2. Raposo et al., Mixture-of-Depths (2024)

    引用箇所： モデルの一部だけを動かす↳ モデルの一部だけを動かす

  3. Chen, Zaharia & Zou, FrugalGPT (2023)

    引用箇所： まず小さなモデルに聞くH6 · 節約は掛け算で効く↳ まず小さなモデルに聞く

  4. Ong et al., RouteLLM (ICLR 2025)

    引用箇所： まず小さなモデルに聞く↳ まず小さなモデルに聞く

  5. Cai et al., Large Language Models as Tool Makers (ICLR 2024)

    引用箇所： モデルではなくプログラムに蒸留する↳ モデルではなくプログラムに蒸留する

  6. Google DeepMind, AlphaEvolve (2025)

    引用箇所： モデルではなくプログラムに蒸留する↳ モデルではなくプログラムに蒸留する

  7. Ma et al., The Era of 1-bit LLMs: BitNet b1.58 (2024)

    引用箇所： 少ないビットで計算するH6 · 節約は掛け算で効く↳ 少ないビットで計算する

  8. NVIDIA, Pretraining Large Language Models with NVFP4 (2025)

    引用箇所： 少ないビットで計算する↳ 少ないビットで計算する

  9. Modha et al., NorthPole, Science (2023)

    引用箇所： 機械そのものを変える本当の費用はデータの移動にある↳ 機械そのものを変える

  10. Ahmed et al., Universal photonic AI acceleration, Nature (2025)

    引用箇所： 機械そのものを変える↳ 機械そのものを変える

  11. Leviathan, Kalman & Matias, Speculative Decoding (ICML 2023)

    引用箇所： 確かめるほうが書くより安い↳ まず小さなモデルに聞く↳ 確かめるほうが書くより安い

  12. Brown et al., Large Language Monkeys (2024)

    引用箇所： 確かめるほうが書くより安い↳ 確かめるほうが書くより安い

V

仮説と結論

  1. DeepSeek, Engram: Conditional Memory via Scalable Lookup (2026)

    引用箇所： H2 · 上の層は学び、下の層は参照する↳ モデルの中の記憶

  2. Chhikara et al., Mem0: Scalable Long-Term Memory (2025)

    引用箇所： H5 · 木ではなくグラフ↳ コストが対数的になる

  3. Xu et al., A-MEM: Agentic Memory for LLM Agents (NeurIPS 2025)

    引用箇所： H5 · 木ではなくグラフ↳ コストが対数的になる

  4. Horowitz, Computing's Energy Problem (ISSCC 2014)

    引用箇所： H6 · 節約は掛け算で効く本当の費用はデータの移動にある↳ 少ないビットで計算する↳ 機械そのものを変える

  5. Richard Sutton, The Bitter Lesson (2019)

    引用箇所： 歴史は慎重さを求める↳ 言葉ではなく概念で考える

  6. Cyc (Wikipedia)

    引用箇所： 歴史は慎重さを求める

VI

深掘り

  1. Xie et al., DoReMi: Optimizing Data Mixtures (NeurIPS 2023)

    引用箇所： ↳ 順番に学ぶ

  2. Lin et al., Rho-1: Not All Tokens Are What You Need (NeurIPS 2024)

    引用箇所： ↳ 順番に学ぶ↳ 賢く捨てる

  3. OLMo et al., 2 OLMo 2 Furious (Ai2, 2025)

    引用箇所： ↳ 順番に学ぶ

  4. Predicting Training Re-evaluation Curves (2025)

    引用箇所： ↳ 順番に学ぶ

  5. Abbas et al., SemDeDup (Meta, 2023)

    引用箇所： ↳ 賢く捨てる

  6. Penedo et al., The FineWeb Datasets (Hugging Face, 2024)

    引用箇所： ↳ 賢く捨てる

  7. Li et al., DataComp-LM (2024)

    引用箇所： ↳ 賢く捨てる

  8. Muennighoff et al., Scaling Data-Constrained Language Models (NeurIPS 2023)

    引用箇所： ↳ 賢く捨てる

  9. Lample et al., Large Memory Layers with Product Keys (NeurIPS 2019)

    引用箇所： ↳ モデルの中の記憶

  10. Lin et al., Continual Learning via Sparse Memory Finetuning (Meta, 2025)

    引用箇所： ↳ モデルの中の記憶

  11. Huang et al., Ultra-Sparse Memory Network (ByteDance, ICLR 2025)

    引用箇所： ↳ モデルの中の記憶

  12. Behrouz et al., Titans: Learning to Memorize at Test Time (Google, 2025)

    引用箇所： ↳ モデルの中の記憶

  13. Packer et al., MemGPT: Towards LLMs as Operating Systems (2023)

    引用箇所： ↳ コストが対数的になる

  14. Rezazadeh et al., MemTree: Dynamic Tree Memory (2024)

    引用箇所： ↳ コストが対数的になる

  15. MemForest: Hierarchical Temporal Indexing for Agent Memory (2026)

    引用箇所： ↳ コストが対数的になる

  16. Pagnoni et al., Byte Latent Transformer (Meta, ACL 2025)

    引用箇所： ↳ 言葉ではなく概念で考える

  17. Hwang, Wang & Gu, H-Net: Dynamic Chunking (2025)

    引用箇所： ↳ 言葉ではなく概念で考える

  18. Wang et al., Hierarchical Reasoning Model (Sapient, 2025)

    引用箇所： ↳ 言葉ではなく概念で考える

  19. ARC Prize, The Hidden Drivers of HRM's Performance (2025)

    引用箇所： ↳ 言葉ではなく概念で考える

  20. Jolicoeur-Martineau, Less is More: Tiny Recursive Model (Samsung, 2025)

    引用箇所： ↳ 言葉ではなく概念で考える

  21. Bae et al., Mixture-of-Recursions (NeurIPS 2025)

    引用箇所： ↳ モデルの一部だけを動かす

  22. Ambrogio et al., An analog-AI chip for speech recognition, Nature (2023)

    引用箇所： ↳ 機械そのものを変える

  23. Li et al., EAGLE-3 (2025)

    引用箇所： ↳ 確かめるほうが書くより安い

ページの先頭へ