KI von morgen
DE
FrançaisEnglishEspañolItalianoPortuguês日本語한국어

← Zurück zum Notizbuch

Die Bibliothek des Notizbuchs

Quellen

Alle Quellen des Notizbuchs, geordnet nach dem Teil, in dem sie zuerst vorkommen, mit den Karten, die sie zitieren.

55 Quellen aktualisiert am

I

Die Ausgangslage

  1. Allen-Zhu & Li, Physics of Language Models 3.3 (2024)

    Zitiert in: Das Gedächtnis eines Modells ist begrenztRauschen ist teuer, Etiketten helfenH1 · Der Datenhunger kommt teils von einer fehlenden Hierarchie

II

Eine Hierarchie zum Lernen

  1. Gunasekar et al., Textbooks Are All You Need (2023)

    Zitiert in: Qualität schlägt MengeZum Lernen ist es die Grenzlinie

  2. Zhang et al., Beyond Random Sampling (EACL 2026)

    Zitiert in: Geordnet lernen hilft …H1 · Der Datenhunger kommt teils von einer fehlenden HierarchieZum Lernen ist es die Grenzlinie↳ Geordnet lernen

  3. Elgaar & Amiri, Curriculum Learning for LLM Pretraining (2026)

    Zitiert in: … aber nicht überallZum Lernen ist es die Grenzlinie↳ Geordnet lernen

  4. Sorscher et al., Beyond neural scaling laws (NeurIPS 2022)

    Zitiert in: Klug aussortierenH3 · Regeln + Ausnahmen = Kompression↳ Klug aussortieren

  5. Meta, Large Concept Models (2024)

    Zitiert in: In Ideen denken, nicht in Wörtern↳ In Ideen denken, nicht in Wörtern

  6. Shumailov et al., AI models collapse… (Nature, 2024)

    Zitiert in: Die Fotokopie-FalleH4 · Ausnahmen sind der Anker

  7. Gerstgrasser et al., Is Model Collapse Inevitable? (2024)

    Zitiert in: Die Fotokopie-FalleH4 · Ausnahmen sind der Anker

III

Eine Hierarchie zum Nachschlagen

  1. Borgeaud et al., RETRO (DeepMind, 2021)

    Zitiert in: Nachschlagen statt auswendig lernenWissen außerhalb der Gewichte haltenH2 · Das Obere lernen, das Untere nachschlagenZum Nachschlagen hat sich die Hierarchie bewährt

  2. Sarthi et al., RAPTOR (ICLR 2024)

    Zitiert in: Ein Baum aus ZusammenfassungenH5 · Ein Graph, kein BaumZum Nachschlagen hat sich die Hierarchie bewährt

  3. Edge et al., GraphRAG (Microsoft, 2024)

    Zitiert in: Gemeinschaften von IdeenH5 · Ein Graph, kein BaumZum Nachschlagen hat sich die Hierarchie bewährt

  4. Berges et al., Memory Layers at Scale (Meta, 2024)

    Zitiert in: Ein Speicher im ModellWissen außerhalb der Gewichte haltenH2 · Das Obere lernen, das Untere nachschlagen↳ Ein Gedächtnis im Modell

  5. Talebirad et al., Toward a Theory of Hierarchical Memory (2026)

    Zitiert in: Die Kosten werden logarithmisch↳ Die Kosten werden logarithmisch

  6. Hsu et al., HORMA, Organize then Retrieve (2026)

    Zitiert in: Die Kosten werden logarithmisch↳ Die Kosten werden logarithmisch

IV

Sieben weitere Ansätze

  1. DeepSeek-AI, DeepSeek-V3 Technical Report (2024)

    Zitiert in: Nur einen Teil des Modells einschaltenH6 · Die Einsparungen multiplizieren sich↳ Nur einen Teil des Modells einschalten↳ Mit weniger Bits rechnen

  2. Raposo et al., Mixture-of-Depths (2024)

    Zitiert in: Nur einen Teil des Modells einschalten↳ Nur einen Teil des Modells einschalten

  3. Chen, Zaharia & Zou, FrugalGPT (2023)

    Zitiert in: Zuerst das kleine Modell fragenH6 · Die Einsparungen multiplizieren sich↳ Zuerst das kleine Modell fragen

  4. Ong et al., RouteLLM (ICLR 2025)

    Zitiert in: Zuerst das kleine Modell fragen↳ Zuerst das kleine Modell fragen

  5. Cai et al., Large Language Models as Tool Makers (ICLR 2024)

    Zitiert in: In Programme destillieren, nicht in Modelle↳ In Programme destillieren, nicht in Modelle

  6. Google DeepMind, AlphaEvolve (2025)

    Zitiert in: In Programme destillieren, nicht in Modelle↳ In Programme destillieren, nicht in Modelle

  7. Ma et al., The Era of 1-bit LLMs: BitNet b1.58 (2024)

    Zitiert in: Mit weniger Bits rechnenH6 · Die Einsparungen multiplizieren sich↳ Mit weniger Bits rechnen

  8. NVIDIA, Pretraining Large Language Models with NVFP4 (2025)

    Zitiert in: Mit weniger Bits rechnen↳ Mit weniger Bits rechnen

  9. Modha et al., NorthPole, Science (2023)

    Zitiert in: Die Maschine ändernDie wahren Kosten liegen im Bewegen der Daten↳ Die Maschine ändern

  10. Ahmed et al., Universal photonic AI acceleration, Nature (2025)

    Zitiert in: Die Maschine ändern↳ Die Maschine ändern

  11. Leviathan, Kalman & Matias, Speculative Decoding (ICML 2023)

    Zitiert in: Prüfen kostet weniger als Schreiben↳ Zuerst das kleine Modell fragen↳ Prüfen kostet weniger als Schreiben

  12. Brown et al., Large Language Monkeys (2024)

    Zitiert in: Prüfen kostet weniger als Schreiben↳ Prüfen kostet weniger als Schreiben

V

Hypothesen und Schlüsse

  1. DeepSeek, Engram: Conditional Memory via Scalable Lookup (2026)

    Zitiert in: H2 · Das Obere lernen, das Untere nachschlagen↳ Ein Gedächtnis im Modell

  2. Chhikara et al., Mem0: Scalable Long-Term Memory (2025)

    Zitiert in: H5 · Ein Graph, kein Baum↳ Die Kosten werden logarithmisch

  3. Xu et al., A-MEM: Agentic Memory for LLM Agents (NeurIPS 2025)

    Zitiert in: H5 · Ein Graph, kein Baum↳ Die Kosten werden logarithmisch

  4. Horowitz, Computing's Energy Problem (ISSCC 2014)

    Zitiert in: H6 · Die Einsparungen multiplizieren sichDie wahren Kosten liegen im Bewegen der Daten↳ Mit weniger Bits rechnen↳ Die Maschine ändern

  5. Richard Sutton, The Bitter Lesson (2019)

    Zitiert in: Die Geschichte mahnt zur Vorsicht↳ In Ideen denken, nicht in Wörtern

  6. Cyc (Wikipedia)

    Zitiert in: Die Geschichte mahnt zur Vorsicht

VI

Vertiefungen

  1. Xie et al., DoReMi: Optimizing Data Mixtures (NeurIPS 2023)

    Zitiert in: ↳ Geordnet lernen

  2. Lin et al., Rho-1: Not All Tokens Are What You Need (NeurIPS 2024)

    Zitiert in: ↳ Geordnet lernen↳ Klug aussortieren

  3. OLMo et al., 2 OLMo 2 Furious (Ai2, 2025)

    Zitiert in: ↳ Geordnet lernen

  4. Predicting Training Re-evaluation Curves (2025)

    Zitiert in: ↳ Geordnet lernen

  5. Abbas et al., SemDeDup (Meta, 2023)

    Zitiert in: ↳ Klug aussortieren

  6. Penedo et al., The FineWeb Datasets (Hugging Face, 2024)

    Zitiert in: ↳ Klug aussortieren

  7. Li et al., DataComp-LM (2024)

    Zitiert in: ↳ Klug aussortieren

  8. Muennighoff et al., Scaling Data-Constrained Language Models (NeurIPS 2023)

    Zitiert in: ↳ Klug aussortieren

  9. Lample et al., Large Memory Layers with Product Keys (NeurIPS 2019)

    Zitiert in: ↳ Ein Gedächtnis im Modell

  10. Lin et al., Continual Learning via Sparse Memory Finetuning (Meta, 2025)

    Zitiert in: ↳ Ein Gedächtnis im Modell

  11. Huang et al., Ultra-Sparse Memory Network (ByteDance, ICLR 2025)

    Zitiert in: ↳ Ein Gedächtnis im Modell

  12. Behrouz et al., Titans: Learning to Memorize at Test Time (Google, 2025)

    Zitiert in: ↳ Ein Gedächtnis im Modell

  13. Packer et al., MemGPT: Towards LLMs as Operating Systems (2023)

    Zitiert in: ↳ Die Kosten werden logarithmisch

  14. Rezazadeh et al., MemTree: Dynamic Tree Memory (2024)

    Zitiert in: ↳ Die Kosten werden logarithmisch

  15. MemForest: Hierarchical Temporal Indexing for Agent Memory (2026)

    Zitiert in: ↳ Die Kosten werden logarithmisch

  16. Pagnoni et al., Byte Latent Transformer (Meta, ACL 2025)

    Zitiert in: ↳ In Ideen denken, nicht in Wörtern

  17. Hwang, Wang & Gu, H-Net: Dynamic Chunking (2025)

    Zitiert in: ↳ In Ideen denken, nicht in Wörtern

  18. Wang et al., Hierarchical Reasoning Model (Sapient, 2025)

    Zitiert in: ↳ In Ideen denken, nicht in Wörtern

  19. ARC Prize, The Hidden Drivers of HRM's Performance (2025)

    Zitiert in: ↳ In Ideen denken, nicht in Wörtern

  20. Jolicoeur-Martineau, Less is More: Tiny Recursive Model (Samsung, 2025)

    Zitiert in: ↳ In Ideen denken, nicht in Wörtern

  21. Bae et al., Mixture-of-Recursions (NeurIPS 2025)

    Zitiert in: ↳ Nur einen Teil des Modells einschalten

  22. Ambrogio et al., An analog-AI chip for speech recognition, Nature (2023)

    Zitiert in: ↳ Die Maschine ändern

  23. Li et al., EAGLE-3 (2025)

    Zitiert in: ↳ Prüfen kostet weniger als Schreiben

Nach oben