Caderno vivo · Códice nº 1
E se organizássemos o saber antes de aprendê-lo?
Este caderno é o nosso quadro branco. Nele anotamos pistas, hipóteses e conclusões provisórias sobre uma pergunta: como construir a IA de outro jeito, para que custe menos, consuma menos e erre menos. Primeira frente: uma hierarquia dos dados, para aprender e para consultar.
Hoje um modelo é treinado com uma "sopa achatada": trilhões de palavras, todas no mesmo nível. Um post qualquer e um manual de física pesam igual. Nossa intuição inicial: parte do enorme apetite da IA por dados serve para reconstruir uma hierarquia que ninguém lhe entrega.
Fig. 1 — A pirâmide do saber
Comprovado
Experimentos controlados mostram que um modelo de linguagem bem treinado armazena cerca de 2 bits de conhecimento por parâmetro, não mais. Cada parâmetro é precioso: enchê-lo de detalhes tem um custo.
Fonte: Allen-Zhu & Li, Physics of Language Models 3.3 (2024)
Comprovado
No mesmo estudo, quando 7 de cada 8 textos de treinamento são ruído, a capacidade de reter o saber útil cai até 20 vezes. Só acrescentar o nome do site de origem antes de cada texto já ajuda bastante o modelo a separar as coisas. Um rótulo de procedência já é uma pequena hierarquia.
Fonte: Allen-Zhu & Li, Physics of Language Models 3.3 (2024)
Primeiro jeito de usar uma hierarquia: organizar e selecionar os dados de treinamento para que o modelo aprenda mais rápido e com menos. Como um aluno que segue um bom livro didático em vez de uma pilha de anotações soltas.
Comprovado
O phi-1 (1,3 bilhão de parâmetros), treinado com dados "de qualidade de livro didático", superou em programação modelos 10 vezes maiores treinados com 100 vezes mais dados.
Mais de 200 modelos treinados com os dados apresentados do fácil ao difícil chegam ao nível de referência com 18% a 45% menos etapas. Um "aquecimento" ordenado, seguido de ordem aleatória, mantém até 3,5% de vantagem.
Comprovado
Outro estudo de 2026 conclui que esses ganhos dependem do tamanho: a ordem estabiliza sobretudo os modelos pequenos. No conjunto, os resultados publicados sobre aprendizado ordenado continuam divergentes.
Fonte: Elgaar & Amiri, Curriculum Learning for LLM Pretraining (2026)
Com uma boa medida do que merece ser mantido, o erro pode cair exponencialmente com o tamanho dos dados conservados, em vez de seguir a lei lenta de sempre. Demonstrado na teoria e, na prática, em tarefas de imagem.
Fonte: Sorscher et al., Beyond neural scaling laws (NeurIPS 2022)
Os Large Concept Models da Meta raciocinam frase a frase, em um espaço de sentido compartilhado por 200 idiomas: uma hierarquia explícita das palavras às ideias. Por enquanto são menos fluentes que os modelos clássicos.
Comprovado
Treinar um modelo com o que o anterior produziu, substituindo os dados reais, o empobrece: os casos raros somem primeiro. Por outro lado, acumular dados reais e sintéticos evita esse colapso.
Fonte: Shumailov et al., AI models collapse… (Nature, 2024), Gerstgrasser et al., Is Model Collapse Inevitable? (2024)
Segundo jeito: deixar o saber fora do modelo, organizado em andares como uma biblioteca (seção, estante, livro, página). O modelo só desce até onde precisa para responder.
Fig. 2 — Buscar descendo
16 documentos · 4 etapas
Comprovado
O RETRO (DeepMind) recorre a uma base de 2 trilhões de tokens enquanto escreve. Ele se iguala ao GPT-3 com 25 vezes menos parâmetros.
Comprovado
O RAPTOR agrupa os trechos de um texto, resume-os, depois resume os resumos, até formar uma árvore. Junto com o GPT-4, ganha 20 pontos de precisão em um teste de perguntas difíceis (QuALITY).
Comprovado
O GraphRAG (Microsoft) liga as entidades de um corpus em um grafo, divide-o em comunidades aninhadas e resume cada nível. Nas perguntas sobre o corpus inteiro, vence a busca clássica em 70% a 80% das comparações. Em contrapartida, a indexação custa caro no começo.
Promissor
As "camadas de memória" da Meta acrescentam milhões de pares chave-valor consultados sob demanda: mais saber sem mais processamento. Em perguntas factuais, a precisão mais que dobra.
Promissor
As memórias hierárquicas recentes para agentes estreitam a busca andar por andar: o custo cresce mais ou menos como o logaritmo do tamanho da memória. Uma teoria de 2026 mostra que todos esses sistemas seguem o mesmo esquema: agrupar, comprimir, expandir quando preciso.
Fonte: Talebirad et al., Toward a Theory of Hierarchical Memory (2026), Hsu et al., HORMA, Organize then Retrieve (2026)
O que segue é o nosso próprio raciocínio, não um resultado publicado. O número de confiança diz o quanto acreditamos nele hoje; ele vai mudar.
H1
Se déssemos ao modelo a estrutura dos dados (nível, procedência, dependências), ele precisaria de menos exemplos para reconstruí-la.
Fonte: Allen-Zhu & Li, Physics of Language Models 3.3 (2024), Zhang et al., Beyond Random Sampling (EACL 2026)
H2
Como os parâmetros são escassos (cerca de 2 bits cada), vamos reservá-los aos princípios e às formas de raciocinar. Fatos e detalhes vão para uma memória externa, organizada em andares.
Fonte: Borgeaud et al., RETRO (DeepMind, 2021), Berges et al., Memory Layers at Scale (Meta, 2024)
H3
Assim como um físico guarda a lei e os casos que a contradizem, guardaríamos as regras e apenas os dados que escapam delas. O resto poderia ser deduzido.
Fonte: Sorscher et al., Beyond neural scaling laws (NeurIPS 2022)
H4
Em um ciclo em que cada geração de modelo aprende com o saber comprimido pela anterior, guardar os dados brutos raros evitaria a deriva.
Fonte: Shumailov et al., AI models collapse… (Nature, 2024), Gerstgrasser et al., Is Model Collapse Inevitable? (2024)
H5
O saber real é uma rede: a mesma ideia pertence a várias famílias. A hierarquia útil seria feita de várias árvores que se cruzam.
Fonte: Edge et al., GraphRAG (Microsoft, 2024), Sarthi et al., RAPTOR (ICLR 2024)
O que pensamos neste momento. "Provisórias" é a palavra-chave.
Bases externas, árvores de resumos, grafos de comunidades: os ganhos são medidos e reproduzidos. É o lado mais maduro da questão.
Fonte: Borgeaud et al., RETRO (DeepMind, 2021), Sarthi et al., RAPTOR (ICLR 2024), Edge et al., GraphRAG (Microsoft, 2024)
Ordenar os dados ajuda um pouco; escolhê-los bem ajuda muito mais. Treinar um modelo com uma hierarquia explícita continua quase inexplorado: é ali que há mais a descobrir.
Fonte: Zhang et al., Beyond Random Sampling (EACL 2026), Elgaar & Amiri, Curriculum Learning for LLM Pretraining (2026), Gunasekar et al., Textbooks Are All You Need (2023)
Os princípios nos pesos, os detalhes na memória. É a hipótese H2, para a qual convergem mais indícios.
Hierarquias escritas à mão, como o projeto Cyc, iniciado em 1984, nunca ganharam escala. A "lição amarga" de Richard Sutton: o que aprende sozinho acaba vencendo. A hierarquia precisa ser aprendida e depois tornada visível, não ditada.
Fonte: Richard Sutton, The Bitter Lesson (2019), Cyc (Wikipedia)
Fig. 3 — A divisão proposta
No modelo
Na memória