L'IA de demain
FR
EnglishEspañolItalianoDeutschPortuguês日本語한국어

← Retour au carnet

Bibliothèque du carnet

Sources

Toutes les références du carnet, rangées selon la partie où elles apparaissent, avec les fiches qui les citent.

55 sources mise à jour du

I

Le constat

  1. Allen-Zhu & Li, Physics of Language Models 3.3 (2024)

    Cité dans : La mémoire d'un modèle est limitéeLe bruit coûte cher, l'étiquette aideH1 · L'appétit de données vient en partie d'une hiérarchie absente

II

Une hiérarchie pour apprendre

  1. Gunasekar et al., Textbooks Are All You Need (2023)

    Cité dans : La qualité bat la quantitéPour apprendre, c'est la frontière

  2. Zhang et al., Beyond Random Sampling (EACL 2026)

    Cité dans : Apprendre dans l'ordre aide…H1 · L'appétit de données vient en partie d'une hiérarchie absentePour apprendre, c'est la frontière↳ Apprendre dans l'ordre

  3. Elgaar & Amiri, Curriculum Learning for LLM Pretraining (2026)

    Cité dans : … mais pas partoutPour apprendre, c'est la frontière↳ Apprendre dans l'ordre

  4. Sorscher et al., Beyond neural scaling laws (NeurIPS 2022)

    Cité dans : Jeter intelligemmentH3 · Règles + exceptions = compression↳ Jeter intelligemment

  5. Meta, Large Concept Models (2024)

    Cité dans : Penser par idées, pas par mots↳ Penser par idées, pas par mots

  6. Shumailov et al., AI models collapse… (Nature, 2024)

    Cité dans : Le piège de la photocopieH4 · Les exceptions sont l'ancre

  7. Gerstgrasser et al., Is Model Collapse Inevitable? (2024)

    Cité dans : Le piège de la photocopieH4 · Les exceptions sont l'ancre

III

Une hiérarchie pour consulter

  1. Borgeaud et al., RETRO (DeepMind, 2021)

    Cité dans : Consulter plutôt que mémoriserGarder le savoir hors des poidsH2 · Apprendre le haut, consulter le basPour consulter, la hiérarchie a fait ses preuves

  2. Sarthi et al., RAPTOR (ICLR 2024)

    Cité dans : Un arbre de résumésH5 · Un graphe, pas un arbrePour consulter, la hiérarchie a fait ses preuves

  3. Edge et al., GraphRAG (Microsoft, 2024)

    Cité dans : Des communautés d'idéesH5 · Un graphe, pas un arbrePour consulter, la hiérarchie a fait ses preuves

  4. Berges et al., Memory Layers at Scale (Meta, 2024)

    Cité dans : Une mémoire dans le modèleGarder le savoir hors des poidsH2 · Apprendre le haut, consulter le bas↳ Une mémoire dans le modèle

  5. Talebirad et al., Toward a Theory of Hierarchical Memory (2026)

    Cité dans : Le coût devient logarithmique↳ Le coût devient logarithmique

  6. Hsu et al., HORMA, Organize then Retrieve (2026)

    Cité dans : Le coût devient logarithmique↳ Le coût devient logarithmique

IV

Sept autres pistes

  1. DeepSeek-AI, DeepSeek-V3 Technical Report (2024)

    Cité dans : N'allumer qu'une partie du modèleH6 · Les gains se multiplient↳ N'allumer qu'une partie du modèle↳ Calculer avec moins de bits

  2. Raposo et al., Mixture-of-Depths (2024)

    Cité dans : N'allumer qu'une partie du modèle↳ N'allumer qu'une partie du modèle

  3. Chen, Zaharia & Zou, FrugalGPT (2023)

    Cité dans : Demander d'abord au petit modèleH6 · Les gains se multiplient↳ Demander d'abord au petit modèle

  4. Ong et al., RouteLLM (ICLR 2025)

    Cité dans : Demander d'abord au petit modèle↳ Demander d'abord au petit modèle

  5. Cai et al., Large Language Models as Tool Makers (ICLR 2024)

    Cité dans : Distiller en programmes, pas en modèles↳ Distiller en programmes, pas en modèles

  6. Google DeepMind, AlphaEvolve (2025)

    Cité dans : Distiller en programmes, pas en modèles↳ Distiller en programmes, pas en modèles

  7. Ma et al., The Era of 1-bit LLMs: BitNet b1.58 (2024)

    Cité dans : Calculer avec moins de bitsH6 · Les gains se multiplient↳ Calculer avec moins de bits

  8. NVIDIA, Pretraining Large Language Models with NVFP4 (2025)

    Cité dans : Calculer avec moins de bits↳ Calculer avec moins de bits

  9. Modha et al., NorthPole, Science (2023)

    Cité dans : Changer la machineLe vrai coût, c'est le déplacement↳ Changer la machine

  10. Ahmed et al., Universal photonic AI acceleration, Nature (2025)

    Cité dans : Changer la machine↳ Changer la machine

  11. Leviathan, Kalman & Matias, Speculative Decoding (ICML 2023)

    Cité dans : Vérifier coûte moins qu'écrire↳ Demander d'abord au petit modèle↳ Vérifier coûte moins qu'écrire

  12. Brown et al., Large Language Monkeys (2024)

    Cité dans : Vérifier coûte moins qu'écrire↳ Vérifier coûte moins qu'écrire

V

Hypothèses et conclusions

  1. DeepSeek, Engram: Conditional Memory via Scalable Lookup (2026)

    Cité dans : H2 · Apprendre le haut, consulter le bas↳ Une mémoire dans le modèle

  2. Chhikara et al., Mem0: Scalable Long-Term Memory (2025)

    Cité dans : H5 · Un graphe, pas un arbre↳ Le coût devient logarithmique

  3. Xu et al., A-MEM: Agentic Memory for LLM Agents (NeurIPS 2025)

    Cité dans : H5 · Un graphe, pas un arbre↳ Le coût devient logarithmique

  4. Horowitz, Computing's Energy Problem (ISSCC 2014)

    Cité dans : H6 · Les gains se multiplientLe vrai coût, c'est le déplacement↳ Calculer avec moins de bits↳ Changer la machine

  5. Richard Sutton, The Bitter Lesson (2019)

    Cité dans : L'histoire invite à la prudence↳ Penser par idées, pas par mots

  6. Cyc (Wikipedia)

    Cité dans : L'histoire invite à la prudence

VI

Approfondissements

  1. Xie et al., DoReMi: Optimizing Data Mixtures (NeurIPS 2023)

    Cité dans : ↳ Apprendre dans l'ordre

  2. Lin et al., Rho-1: Not All Tokens Are What You Need (NeurIPS 2024)

    Cité dans : ↳ Apprendre dans l'ordre↳ Jeter intelligemment

  3. OLMo et al., 2 OLMo 2 Furious (Ai2, 2025)

    Cité dans : ↳ Apprendre dans l'ordre

  4. Predicting Training Re-evaluation Curves (2025)

    Cité dans : ↳ Apprendre dans l'ordre

  5. Abbas et al., SemDeDup (Meta, 2023)

    Cité dans : ↳ Jeter intelligemment

  6. Penedo et al., The FineWeb Datasets (Hugging Face, 2024)

    Cité dans : ↳ Jeter intelligemment

  7. Li et al., DataComp-LM (2024)

    Cité dans : ↳ Jeter intelligemment

  8. Muennighoff et al., Scaling Data-Constrained Language Models (NeurIPS 2023)

    Cité dans : ↳ Jeter intelligemment

  9. Lample et al., Large Memory Layers with Product Keys (NeurIPS 2019)

    Cité dans : ↳ Une mémoire dans le modèle

  10. Lin et al., Continual Learning via Sparse Memory Finetuning (Meta, 2025)

    Cité dans : ↳ Une mémoire dans le modèle

  11. Huang et al., Ultra-Sparse Memory Network (ByteDance, ICLR 2025)

    Cité dans : ↳ Une mémoire dans le modèle

  12. Behrouz et al., Titans: Learning to Memorize at Test Time (Google, 2025)

    Cité dans : ↳ Une mémoire dans le modèle

  13. Packer et al., MemGPT: Towards LLMs as Operating Systems (2023)

    Cité dans : ↳ Le coût devient logarithmique

  14. Rezazadeh et al., MemTree: Dynamic Tree Memory (2024)

    Cité dans : ↳ Le coût devient logarithmique

  15. MemForest: Hierarchical Temporal Indexing for Agent Memory (2026)

    Cité dans : ↳ Le coût devient logarithmique

  16. Pagnoni et al., Byte Latent Transformer (Meta, ACL 2025)

    Cité dans : ↳ Penser par idées, pas par mots

  17. Hwang, Wang & Gu, H-Net: Dynamic Chunking (2025)

    Cité dans : ↳ Penser par idées, pas par mots

  18. Wang et al., Hierarchical Reasoning Model (Sapient, 2025)

    Cité dans : ↳ Penser par idées, pas par mots

  19. ARC Prize, The Hidden Drivers of HRM's Performance (2025)

    Cité dans : ↳ Penser par idées, pas par mots

  20. Jolicoeur-Martineau, Less is More: Tiny Recursive Model (Samsung, 2025)

    Cité dans : ↳ Penser par idées, pas par mots

  21. Bae et al., Mixture-of-Recursions (NeurIPS 2025)

    Cité dans : ↳ N'allumer qu'une partie du modèle

  22. Ambrogio et al., An analog-AI chip for speech recognition, Nature (2023)

    Cité dans : ↳ Changer la machine

  23. Li et al., EAGLE-3 (2025)

    Cité dans : ↳ Vérifier coûte moins qu'écrire

Haut de page