La IA del mañana
ES
FrançaisEnglishItalianoDeutschPortuguês日本語한국어

← Volver al cuaderno

La biblioteca del cuaderno

Fuentes

Todas las referencias del cuaderno, agrupadas según la parte en la que aparecen primero, con las fichas que las citan.

55 fuentes actualizado el

I

El punto de partida

  1. Allen-Zhu & Li, Physics of Language Models 3.3 (2024)

    Citado en: La memoria de un modelo es limitadaEl ruido sale caro, la etiqueta ayudaH1 · El apetito de datos viene en parte de una jerarquía ausente

II

Una jerarquía para aprender

  1. Gunasekar et al., Textbooks Are All You Need (2023)

    Citado en: La calidad vence a la cantidadPara aprender, es la frontera

  2. Zhang et al., Beyond Random Sampling (EACL 2026)

    Citado en: Aprender en orden ayuda…H1 · El apetito de datos viene en parte de una jerarquía ausentePara aprender, es la frontera↳ Aprender en orden

  3. Elgaar & Amiri, Curriculum Learning for LLM Pretraining (2026)

    Citado en: … pero no siemprePara aprender, es la frontera↳ Aprender en orden

  4. Sorscher et al., Beyond neural scaling laws (NeurIPS 2022)

    Citado en: Descartar con inteligenciaH3 · Reglas + excepciones = compresión↳ Descartar con inteligencia

  5. Meta, Large Concept Models (2024)

    Citado en: Pensar en ideas, no en palabras↳ Pensar en ideas, no en palabras

  6. Shumailov et al., AI models collapse… (Nature, 2024)

    Citado en: La trampa de la fotocopiaH4 · Las excepciones son el ancla

  7. Gerstgrasser et al., Is Model Collapse Inevitable? (2024)

    Citado en: La trampa de la fotocopiaH4 · Las excepciones son el ancla

III

Una jerarquía para consultar

  1. Borgeaud et al., RETRO (DeepMind, 2021)

    Citado en: Consultar en lugar de memorizarGuardar el saber fuera de los pesosH2 · Aprender lo de arriba, consultar lo de abajoPara consultar, la jerarquía ya ha demostrado su valor

  2. Sarthi et al., RAPTOR (ICLR 2024)

    Citado en: Un árbol de resúmenesH5 · Un grafo, no un árbolPara consultar, la jerarquía ya ha demostrado su valor

  3. Edge et al., GraphRAG (Microsoft, 2024)

    Citado en: Comunidades de ideasH5 · Un grafo, no un árbolPara consultar, la jerarquía ya ha demostrado su valor

  4. Berges et al., Memory Layers at Scale (Meta, 2024)

    Citado en: Una memoria dentro del modeloGuardar el saber fuera de los pesosH2 · Aprender lo de arriba, consultar lo de abajo↳ Una memoria dentro del modelo

  5. Talebirad et al., Toward a Theory of Hierarchical Memory (2026)

    Citado en: El coste se vuelve logarítmico↳ El coste se vuelve logarítmico

  6. Hsu et al., HORMA, Organize then Retrieve (2026)

    Citado en: El coste se vuelve logarítmico↳ El coste se vuelve logarítmico

IV

Otras siete pistas

  1. DeepSeek-AI, DeepSeek-V3 Technical Report (2024)

    Citado en: Encender solo una parte del modeloH6 · Los ahorros se multiplican↳ Encender solo una parte del modelo↳ Calcular con menos bits

  2. Raposo et al., Mixture-of-Depths (2024)

    Citado en: Encender solo una parte del modelo↳ Encender solo una parte del modelo

  3. Chen, Zaharia & Zou, FrugalGPT (2023)

    Citado en: Preguntar primero al modelo pequeñoH6 · Los ahorros se multiplican↳ Preguntar primero al modelo pequeño

  4. Ong et al., RouteLLM (ICLR 2025)

    Citado en: Preguntar primero al modelo pequeño↳ Preguntar primero al modelo pequeño

  5. Cai et al., Large Language Models as Tool Makers (ICLR 2024)

    Citado en: Destilar en programas, no en modelos↳ Destilar en programas, no en modelos

  6. Google DeepMind, AlphaEvolve (2025)

    Citado en: Destilar en programas, no en modelos↳ Destilar en programas, no en modelos

  7. Ma et al., The Era of 1-bit LLMs: BitNet b1.58 (2024)

    Citado en: Calcular con menos bitsH6 · Los ahorros se multiplican↳ Calcular con menos bits

  8. NVIDIA, Pretraining Large Language Models with NVFP4 (2025)

    Citado en: Calcular con menos bits↳ Calcular con menos bits

  9. Modha et al., NorthPole, Science (2023)

    Citado en: Cambiar la máquinaEl verdadero coste es mover los datos↳ Cambiar la máquina

  10. Ahmed et al., Universal photonic AI acceleration, Nature (2025)

    Citado en: Cambiar la máquina↳ Cambiar la máquina

  11. Leviathan, Kalman & Matias, Speculative Decoding (ICML 2023)

    Citado en: Verificar cuesta menos que escribir↳ Preguntar primero al modelo pequeño↳ Verificar cuesta menos que escribir

  12. Brown et al., Large Language Monkeys (2024)

    Citado en: Verificar cuesta menos que escribir↳ Verificar cuesta menos que escribir

V

Hipótesis y conclusiones

  1. DeepSeek, Engram: Conditional Memory via Scalable Lookup (2026)

    Citado en: H2 · Aprender lo de arriba, consultar lo de abajo↳ Una memoria dentro del modelo

  2. Chhikara et al., Mem0: Scalable Long-Term Memory (2025)

    Citado en: H5 · Un grafo, no un árbol↳ El coste se vuelve logarítmico

  3. Xu et al., A-MEM: Agentic Memory for LLM Agents (NeurIPS 2025)

    Citado en: H5 · Un grafo, no un árbol↳ El coste se vuelve logarítmico

  4. Horowitz, Computing's Energy Problem (ISSCC 2014)

    Citado en: H6 · Los ahorros se multiplicanEl verdadero coste es mover los datos↳ Calcular con menos bits↳ Cambiar la máquina

  5. Richard Sutton, The Bitter Lesson (2019)

    Citado en: La historia invita a la prudencia↳ Pensar en ideas, no en palabras

  6. Cyc (Wikipedia)

    Citado en: La historia invita a la prudencia

VI

Profundizaciones

  1. Xie et al., DoReMi: Optimizing Data Mixtures (NeurIPS 2023)

    Citado en: ↳ Aprender en orden

  2. Lin et al., Rho-1: Not All Tokens Are What You Need (NeurIPS 2024)

    Citado en: ↳ Aprender en orden↳ Descartar con inteligencia

  3. OLMo et al., 2 OLMo 2 Furious (Ai2, 2025)

    Citado en: ↳ Aprender en orden

  4. Predicting Training Re-evaluation Curves (2025)

    Citado en: ↳ Aprender en orden

  5. Abbas et al., SemDeDup (Meta, 2023)

    Citado en: ↳ Descartar con inteligencia

  6. Penedo et al., The FineWeb Datasets (Hugging Face, 2024)

    Citado en: ↳ Descartar con inteligencia

  7. Li et al., DataComp-LM (2024)

    Citado en: ↳ Descartar con inteligencia

  8. Muennighoff et al., Scaling Data-Constrained Language Models (NeurIPS 2023)

    Citado en: ↳ Descartar con inteligencia

  9. Lample et al., Large Memory Layers with Product Keys (NeurIPS 2019)

    Citado en: ↳ Una memoria dentro del modelo

  10. Lin et al., Continual Learning via Sparse Memory Finetuning (Meta, 2025)

    Citado en: ↳ Una memoria dentro del modelo

  11. Huang et al., Ultra-Sparse Memory Network (ByteDance, ICLR 2025)

    Citado en: ↳ Una memoria dentro del modelo

  12. Behrouz et al., Titans: Learning to Memorize at Test Time (Google, 2025)

    Citado en: ↳ Una memoria dentro del modelo

  13. Packer et al., MemGPT: Towards LLMs as Operating Systems (2023)

    Citado en: ↳ El coste se vuelve logarítmico

  14. Rezazadeh et al., MemTree: Dynamic Tree Memory (2024)

    Citado en: ↳ El coste se vuelve logarítmico

  15. MemForest: Hierarchical Temporal Indexing for Agent Memory (2026)

    Citado en: ↳ El coste se vuelve logarítmico

  16. Pagnoni et al., Byte Latent Transformer (Meta, ACL 2025)

    Citado en: ↳ Pensar en ideas, no en palabras

  17. Hwang, Wang & Gu, H-Net: Dynamic Chunking (2025)

    Citado en: ↳ Pensar en ideas, no en palabras

  18. Wang et al., Hierarchical Reasoning Model (Sapient, 2025)

    Citado en: ↳ Pensar en ideas, no en palabras

  19. ARC Prize, The Hidden Drivers of HRM's Performance (2025)

    Citado en: ↳ Pensar en ideas, no en palabras

  20. Jolicoeur-Martineau, Less is More: Tiny Recursive Model (Samsung, 2025)

    Citado en: ↳ Pensar en ideas, no en palabras

  21. Bae et al., Mixture-of-Recursions (NeurIPS 2025)

    Citado en: ↳ Encender solo una parte del modelo

  22. Ambrogio et al., An analog-AI chip for speech recognition, Nature (2023)

    Citado en: ↳ Cambiar la máquina

  23. Li et al., EAGLE-3 (2025)

    Citado en: ↳ Verificar cuesta menos que escribir

Volver arriba