L'IA di domani
IT
FrançaisEnglishEspañolDeutschPortuguês日本語한국어

← Torna al quaderno

La biblioteca del quaderno

Fonti

Tutti i riferimenti del quaderno, raggruppati secondo la parte in cui compaiono per la prima volta, con le schede che li citano.

55 fonti aggiornato il

I

Il punto di partenza

  1. Allen-Zhu & Li, Physics of Language Models 3.3 (2024)

    Citato in: La memoria di un modello è limitataIl rumore costa caro, l'etichetta aiutaH1 · La fame di dati nasce in parte da una gerarchia assente

II

Una gerarchia per imparare

  1. Gunasekar et al., Textbooks Are All You Need (2023)

    Citato in: La qualità batte la quantitàPer imparare, è la frontiera

  2. Zhang et al., Beyond Random Sampling (EACL 2026)

    Citato in: Imparare in ordine aiuta…H1 · La fame di dati nasce in parte da una gerarchia assentePer imparare, è la frontiera↳ Imparare in ordine

  3. Elgaar & Amiri, Curriculum Learning for LLM Pretraining (2026)

    Citato in: … ma non ovunquePer imparare, è la frontiera↳ Imparare in ordine

  4. Sorscher et al., Beyond neural scaling laws (NeurIPS 2022)

    Citato in: Scartare con intelligenzaH3 · Regole + eccezioni = compressione↳ Scartare con intelligenza

  5. Meta, Large Concept Models (2024)

    Citato in: Pensare per idee, non per parole↳ Pensare per idee, non per parole

  6. Shumailov et al., AI models collapse… (Nature, 2024)

    Citato in: La trappola della fotocopiaH4 · Le eccezioni sono l'àncora

  7. Gerstgrasser et al., Is Model Collapse Inevitable? (2024)

    Citato in: La trappola della fotocopiaH4 · Le eccezioni sono l'àncora

III

Una gerarchia per consultare

  1. Borgeaud et al., RETRO (DeepMind, 2021)

    Citato in: Consultare invece di memorizzareTenere il sapere fuori dai pesiH2 · Imparare l'alto, consultare il bassoPer consultare, la gerarchia ha già dato prova di sé

  2. Sarthi et al., RAPTOR (ICLR 2024)

    Citato in: Un albero di riassuntiH5 · Un grafo, non un alberoPer consultare, la gerarchia ha già dato prova di sé

  3. Edge et al., GraphRAG (Microsoft, 2024)

    Citato in: Comunità di ideeH5 · Un grafo, non un alberoPer consultare, la gerarchia ha già dato prova di sé

  4. Berges et al., Memory Layers at Scale (Meta, 2024)

    Citato in: Una memoria dentro il modelloTenere il sapere fuori dai pesiH2 · Imparare l'alto, consultare il basso↳ Una memoria dentro il modello

  5. Talebirad et al., Toward a Theory of Hierarchical Memory (2026)

    Citato in: Il costo diventa logaritmico↳ Il costo diventa logaritmico

  6. Hsu et al., HORMA, Organize then Retrieve (2026)

    Citato in: Il costo diventa logaritmico↳ Il costo diventa logaritmico

IV

Altre sette piste

  1. DeepSeek-AI, DeepSeek-V3 Technical Report (2024)

    Citato in: Accendere solo una parte del modelloH6 · I risparmi si moltiplicano↳ Accendere solo una parte del modello↳ Calcolare con meno bit

  2. Raposo et al., Mixture-of-Depths (2024)

    Citato in: Accendere solo una parte del modello↳ Accendere solo una parte del modello

  3. Chen, Zaharia & Zou, FrugalGPT (2023)

    Citato in: Chiedere prima al modello piccoloH6 · I risparmi si moltiplicano↳ Chiedere prima al modello piccolo

  4. Ong et al., RouteLLM (ICLR 2025)

    Citato in: Chiedere prima al modello piccolo↳ Chiedere prima al modello piccolo

  5. Cai et al., Large Language Models as Tool Makers (ICLR 2024)

    Citato in: Distillare in programmi, non in modelli↳ Distillare in programmi, non in modelli

  6. Google DeepMind, AlphaEvolve (2025)

    Citato in: Distillare in programmi, non in modelli↳ Distillare in programmi, non in modelli

  7. Ma et al., The Era of 1-bit LLMs: BitNet b1.58 (2024)

    Citato in: Calcolare con meno bitH6 · I risparmi si moltiplicano↳ Calcolare con meno bit

  8. NVIDIA, Pretraining Large Language Models with NVFP4 (2025)

    Citato in: Calcolare con meno bit↳ Calcolare con meno bit

  9. Modha et al., NorthPole, Science (2023)

    Citato in: Cambiare la macchinaIl vero costo è spostare i dati↳ Cambiare la macchina

  10. Ahmed et al., Universal photonic AI acceleration, Nature (2025)

    Citato in: Cambiare la macchina↳ Cambiare la macchina

  11. Leviathan, Kalman & Matias, Speculative Decoding (ICML 2023)

    Citato in: Verificare costa meno che scrivere↳ Chiedere prima al modello piccolo↳ Verificare costa meno che scrivere

  12. Brown et al., Large Language Monkeys (2024)

    Citato in: Verificare costa meno che scrivere↳ Verificare costa meno che scrivere

V

Ipotesi e conclusioni

  1. DeepSeek, Engram: Conditional Memory via Scalable Lookup (2026)

    Citato in: H2 · Imparare l'alto, consultare il basso↳ Una memoria dentro il modello

  2. Chhikara et al., Mem0: Scalable Long-Term Memory (2025)

    Citato in: H5 · Un grafo, non un albero↳ Il costo diventa logaritmico

  3. Xu et al., A-MEM: Agentic Memory for LLM Agents (NeurIPS 2025)

    Citato in: H5 · Un grafo, non un albero↳ Il costo diventa logaritmico

  4. Horowitz, Computing's Energy Problem (ISSCC 2014)

    Citato in: H6 · I risparmi si moltiplicanoIl vero costo è spostare i dati↳ Calcolare con meno bit↳ Cambiare la macchina

  5. Richard Sutton, The Bitter Lesson (2019)

    Citato in: La storia invita alla prudenza↳ Pensare per idee, non per parole

  6. Cyc (Wikipedia)

    Citato in: La storia invita alla prudenza

VI

Approfondimenti

  1. Xie et al., DoReMi: Optimizing Data Mixtures (NeurIPS 2023)

    Citato in: ↳ Imparare in ordine

  2. Lin et al., Rho-1: Not All Tokens Are What You Need (NeurIPS 2024)

    Citato in: ↳ Imparare in ordine↳ Scartare con intelligenza

  3. OLMo et al., 2 OLMo 2 Furious (Ai2, 2025)

    Citato in: ↳ Imparare in ordine

  4. Predicting Training Re-evaluation Curves (2025)

    Citato in: ↳ Imparare in ordine

  5. Abbas et al., SemDeDup (Meta, 2023)

    Citato in: ↳ Scartare con intelligenza

  6. Penedo et al., The FineWeb Datasets (Hugging Face, 2024)

    Citato in: ↳ Scartare con intelligenza

  7. Li et al., DataComp-LM (2024)

    Citato in: ↳ Scartare con intelligenza

  8. Muennighoff et al., Scaling Data-Constrained Language Models (NeurIPS 2023)

    Citato in: ↳ Scartare con intelligenza

  9. Lample et al., Large Memory Layers with Product Keys (NeurIPS 2019)

    Citato in: ↳ Una memoria dentro il modello

  10. Lin et al., Continual Learning via Sparse Memory Finetuning (Meta, 2025)

    Citato in: ↳ Una memoria dentro il modello

  11. Huang et al., Ultra-Sparse Memory Network (ByteDance, ICLR 2025)

    Citato in: ↳ Una memoria dentro il modello

  12. Behrouz et al., Titans: Learning to Memorize at Test Time (Google, 2025)

    Citato in: ↳ Una memoria dentro il modello

  13. Packer et al., MemGPT: Towards LLMs as Operating Systems (2023)

    Citato in: ↳ Il costo diventa logaritmico

  14. Rezazadeh et al., MemTree: Dynamic Tree Memory (2024)

    Citato in: ↳ Il costo diventa logaritmico

  15. MemForest: Hierarchical Temporal Indexing for Agent Memory (2026)

    Citato in: ↳ Il costo diventa logaritmico

  16. Pagnoni et al., Byte Latent Transformer (Meta, ACL 2025)

    Citato in: ↳ Pensare per idee, non per parole

  17. Hwang, Wang & Gu, H-Net: Dynamic Chunking (2025)

    Citato in: ↳ Pensare per idee, non per parole

  18. Wang et al., Hierarchical Reasoning Model (Sapient, 2025)

    Citato in: ↳ Pensare per idee, non per parole

  19. ARC Prize, The Hidden Drivers of HRM's Performance (2025)

    Citato in: ↳ Pensare per idee, non per parole

  20. Jolicoeur-Martineau, Less is More: Tiny Recursive Model (Samsung, 2025)

    Citato in: ↳ Pensare per idee, non per parole

  21. Bae et al., Mixture-of-Recursions (NeurIPS 2025)

    Citato in: ↳ Accendere solo una parte del modello

  22. Ambrogio et al., An analog-AI chip for speech recognition, Nature (2023)

    Citato in: ↳ Cambiare la macchina

  23. Li et al., EAGLE-3 (2025)

    Citato in: ↳ Verificare costa meno che scrivere

Torna su