A IA do amanhã
PT
FrançaisEnglishEspañolItalianoDeutsch日本語한국어

← Voltar ao caderno

A biblioteca do caderno

Fontes

Todas as referências do caderno, agrupadas conforme a parte em que aparecem primeiro, com as fichas que as citam.

55 fontes atualizado em

I

O ponto de partida

  1. Allen-Zhu & Li, Physics of Language Models 3.3 (2024)

    Citado em: A memória de um modelo é limitadaO ruído custa caro, o rótulo ajudaH1 · O apetite por dados vem em parte de uma hierarquia ausente

II

Uma hierarquia para aprender

  1. Gunasekar et al., Textbooks Are All You Need (2023)

    Citado em: A qualidade vence a quantidadePara aprender, é a fronteira

  2. Zhang et al., Beyond Random Sampling (EACL 2026)

    Citado em: Aprender em ordem ajuda…H1 · O apetite por dados vem em parte de uma hierarquia ausentePara aprender, é a fronteira↳ Aprender em ordem

  3. Elgaar & Amiri, Curriculum Learning for LLM Pretraining (2026)

    Citado em: … mas não em todo lugarPara aprender, é a fronteira↳ Aprender em ordem

  4. Sorscher et al., Beyond neural scaling laws (NeurIPS 2022)

    Citado em: Descartar com inteligênciaH3 · Regras + exceções = compressão↳ Descartar com inteligência

  5. Meta, Large Concept Models (2024)

    Citado em: Pensar em ideias, não em palavras↳ Pensar em ideias, não em palavras

  6. Shumailov et al., AI models collapse… (Nature, 2024)

    Citado em: A armadilha da fotocópiaH4 · As exceções são a âncora

  7. Gerstgrasser et al., Is Model Collapse Inevitable? (2024)

    Citado em: A armadilha da fotocópiaH4 · As exceções são a âncora

III

Uma hierarquia para consultar

  1. Borgeaud et al., RETRO (DeepMind, 2021)

    Citado em: Consultar em vez de decorarGuardar o saber fora dos pesosH2 · Aprender o alto, consultar o baixoPara consultar, a hierarquia já provou seu valor

  2. Sarthi et al., RAPTOR (ICLR 2024)

    Citado em: Uma árvore de resumosH5 · Um grafo, não uma árvorePara consultar, a hierarquia já provou seu valor

  3. Edge et al., GraphRAG (Microsoft, 2024)

    Citado em: Comunidades de ideiasH5 · Um grafo, não uma árvorePara consultar, a hierarquia já provou seu valor

  4. Berges et al., Memory Layers at Scale (Meta, 2024)

    Citado em: Uma memória dentro do modeloGuardar o saber fora dos pesosH2 · Aprender o alto, consultar o baixo↳ Uma memória dentro do modelo

  5. Talebirad et al., Toward a Theory of Hierarchical Memory (2026)

    Citado em: O custo vira logarítmico↳ O custo vira logarítmico

  6. Hsu et al., HORMA, Organize then Retrieve (2026)

    Citado em: O custo vira logarítmico↳ O custo vira logarítmico

IV

Outras sete pistas

  1. DeepSeek-AI, DeepSeek-V3 Technical Report (2024)

    Citado em: Ligar só uma parte do modeloH6 · As economias se multiplicam↳ Ligar só uma parte do modelo↳ Calcular com menos bits

  2. Raposo et al., Mixture-of-Depths (2024)

    Citado em: Ligar só uma parte do modelo↳ Ligar só uma parte do modelo

  3. Chen, Zaharia & Zou, FrugalGPT (2023)

    Citado em: Perguntar primeiro ao modelo pequenoH6 · As economias se multiplicam↳ Perguntar primeiro ao modelo pequeno

  4. Ong et al., RouteLLM (ICLR 2025)

    Citado em: Perguntar primeiro ao modelo pequeno↳ Perguntar primeiro ao modelo pequeno

  5. Cai et al., Large Language Models as Tool Makers (ICLR 2024)

    Citado em: Destilar em programas, não em modelos↳ Destilar em programas, não em modelos

  6. Google DeepMind, AlphaEvolve (2025)

    Citado em: Destilar em programas, não em modelos↳ Destilar em programas, não em modelos

  7. Ma et al., The Era of 1-bit LLMs: BitNet b1.58 (2024)

    Citado em: Calcular com menos bitsH6 · As economias se multiplicam↳ Calcular com menos bits

  8. NVIDIA, Pretraining Large Language Models with NVFP4 (2025)

    Citado em: Calcular com menos bits↳ Calcular com menos bits

  9. Modha et al., NorthPole, Science (2023)

    Citado em: Mudar a máquinaO verdadeiro custo é mover os dados↳ Mudar a máquina

  10. Ahmed et al., Universal photonic AI acceleration, Nature (2025)

    Citado em: Mudar a máquina↳ Mudar a máquina

  11. Leviathan, Kalman & Matias, Speculative Decoding (ICML 2023)

    Citado em: Verificar custa menos do que escrever↳ Perguntar primeiro ao modelo pequeno↳ Verificar custa menos do que escrever

  12. Brown et al., Large Language Monkeys (2024)

    Citado em: Verificar custa menos do que escrever↳ Verificar custa menos do que escrever

V

Hipóteses e conclusões

  1. DeepSeek, Engram: Conditional Memory via Scalable Lookup (2026)

    Citado em: H2 · Aprender o alto, consultar o baixo↳ Uma memória dentro do modelo

  2. Chhikara et al., Mem0: Scalable Long-Term Memory (2025)

    Citado em: H5 · Um grafo, não uma árvore↳ O custo vira logarítmico

  3. Xu et al., A-MEM: Agentic Memory for LLM Agents (NeurIPS 2025)

    Citado em: H5 · Um grafo, não uma árvore↳ O custo vira logarítmico

  4. Horowitz, Computing's Energy Problem (ISSCC 2014)

    Citado em: H6 · As economias se multiplicamO verdadeiro custo é mover os dados↳ Calcular com menos bits↳ Mudar a máquina

  5. Richard Sutton, The Bitter Lesson (2019)

    Citado em: A história pede cautela↳ Pensar em ideias, não em palavras

  6. Cyc (Wikipedia)

    Citado em: A história pede cautela

VI

Aprofundamentos

  1. Xie et al., DoReMi: Optimizing Data Mixtures (NeurIPS 2023)

    Citado em: ↳ Aprender em ordem

  2. Lin et al., Rho-1: Not All Tokens Are What You Need (NeurIPS 2024)

    Citado em: ↳ Aprender em ordem↳ Descartar com inteligência

  3. OLMo et al., 2 OLMo 2 Furious (Ai2, 2025)

    Citado em: ↳ Aprender em ordem

  4. Predicting Training Re-evaluation Curves (2025)

    Citado em: ↳ Aprender em ordem

  5. Abbas et al., SemDeDup (Meta, 2023)

    Citado em: ↳ Descartar com inteligência

  6. Penedo et al., The FineWeb Datasets (Hugging Face, 2024)

    Citado em: ↳ Descartar com inteligência

  7. Li et al., DataComp-LM (2024)

    Citado em: ↳ Descartar com inteligência

  8. Muennighoff et al., Scaling Data-Constrained Language Models (NeurIPS 2023)

    Citado em: ↳ Descartar com inteligência

  9. Lample et al., Large Memory Layers with Product Keys (NeurIPS 2019)

    Citado em: ↳ Uma memória dentro do modelo

  10. Lin et al., Continual Learning via Sparse Memory Finetuning (Meta, 2025)

    Citado em: ↳ Uma memória dentro do modelo

  11. Huang et al., Ultra-Sparse Memory Network (ByteDance, ICLR 2025)

    Citado em: ↳ Uma memória dentro do modelo

  12. Behrouz et al., Titans: Learning to Memorize at Test Time (Google, 2025)

    Citado em: ↳ Uma memória dentro do modelo

  13. Packer et al., MemGPT: Towards LLMs as Operating Systems (2023)

    Citado em: ↳ O custo vira logarítmico

  14. Rezazadeh et al., MemTree: Dynamic Tree Memory (2024)

    Citado em: ↳ O custo vira logarítmico

  15. MemForest: Hierarchical Temporal Indexing for Agent Memory (2026)

    Citado em: ↳ O custo vira logarítmico

  16. Pagnoni et al., Byte Latent Transformer (Meta, ACL 2025)

    Citado em: ↳ Pensar em ideias, não em palavras

  17. Hwang, Wang & Gu, H-Net: Dynamic Chunking (2025)

    Citado em: ↳ Pensar em ideias, não em palavras

  18. Wang et al., Hierarchical Reasoning Model (Sapient, 2025)

    Citado em: ↳ Pensar em ideias, não em palavras

  19. ARC Prize, The Hidden Drivers of HRM's Performance (2025)

    Citado em: ↳ Pensar em ideias, não em palavras

  20. Jolicoeur-Martineau, Less is More: Tiny Recursive Model (Samsung, 2025)

    Citado em: ↳ Pensar em ideias, não em palavras

  21. Bae et al., Mixture-of-Recursions (NeurIPS 2025)

    Citado em: ↳ Ligar só uma parte do modelo

  22. Ambrogio et al., An analog-AI chip for speech recognition, Nature (2023)

    Citado em: ↳ Mudar a máquina

  23. Li et al., EAGLE-3 (2025)

    Citado em: ↳ Verificar custa menos do que escrever

Voltar ao topo