Aprofundamento · Folio III
Num modelo clássico, cada palavra atravessa todas as "gavetas" da rede, até as que não têm nada a ver com ela. E se acrescentássemos um imenso fichário em que o modelo só abre as duas ou três fichas de que precisa?
Um modelo de linguagem guarda boa parte do seu saber nas chamadas camadas feed-forward. Elas funcionam como uma memória, mas uma memória densa: cada palavra passa por elas inteiras, o que custa processamento toda vez.
Uma camada de memória substitui (ou complementa) isso com uma tabela gigante de pares chave → valor. Para cada palavra, o modelo lê só alguns valores. Assim se acrescentam bilhões de parâmetros sem acrescentar processamento, como uma biblioteca que cresce sem que ninguém leia mais livros.
O problema: achar a melhor chave entre um milhão exigiria normalmente um milhão de comparações. O truque das chaves produto (Lample e coautores, 2019): cortar a consulta em duas metades, comparar cada uma a uma lista de 1.000 meias-chaves e depois cruzar as melhores. Obtém-se o resultado certo entre 1.000 × 1.000 = um milhão de casas com apenas 2.000 comparações.
O modelo então lê alguns valores (uns trinta, por exemplo), faz uma média ponderada, e uma "comporta" decide quanto disso injetar no restante do cálculo.
Fonte: Lample et al., Large Memory Layers with Product Keys (NeurIPS 2019)
Fig. D — Achar a ficha certa sem abrir todas
Aqui, 8 + 8 comparações bastam para achar a melhor casa entre 64. Com 1.000 + 1.000 comparações, escolhe-se entre um milhão.
Esquema ilustrativo: mostra a ideia, não medições.
Promissor
Até 128 bilhões de parâmetros de memória, acrescentados a modelos-base de até 8 bilhões, treinados com 1 trilhão de tokens. Os modelos com memória superam modelos densos que usam mais do que o dobro de processamento, e os "mixture of experts" com processamento e parâmetros iguais. O ganho é mais nítido nas perguntas factuais.
Promissor
Uma memória consultada em tempo constante a partir das sequências curtas de palavras do texto. Com tamanho e processamento iguais, o modelo de 27 bilhões ganha +3 pontos no MMLU, +5 em raciocínio (BBH) e passa de 84,2% para 97% num teste de busca em texto longo. A tabela de 100 bilhões de parâmetros pode ficar na memória comum do computador, e não na da GPU, escassa e cara, com menos de 3% de perda de desempenho. Desligue-a, e o conhecimento factual desaba (o TriviaQA cai para 29% do seu nível): é ali que os fatos estão guardados.
Fonte: DeepSeek, Engram: Conditional Memory via Scalable Lookup (2026)
Promissor
Como cada fato usa só algumas casas, dá para atualizar apenas essas. Ao aprender fatos novos, um modelo clássico retreinado por inteiro perde 89% do desempenho em outras perguntas, e 71% com o método LoRA. Com a atualização direcionada das casas de memória: apenas 11%, para o mesmo aprendizado.
Fonte: Lin et al., Continual Learning via Sparse Memory Finetuning (Meta, 2025)
Duas famílias de memória se desenham. As tabelas fixas (Memory Layers, UltraMem, Engram), aprendidas de uma vez por todas. E as memórias que se escrevem durante a leitura, como o Titans.
O Titans guarda o que o surpreende: é exatamente a ideia da nossa hipótese H4, em que as exceções são o que vale a pena lembrar. Uma máquina que só memoriza o inesperado é uma forma de compressão "regras + exceções".
H4 · As exceções são a âncora (65 %)
Promissor
Os "mixture of experts" (MoE) economizam processamento, mas no uso precisam buscar muitos parâmetros na memória, o que os deixa lentos. O UltraMem (ByteDance, 20 milhões de casas de memória) é até 6 vezes mais rápido que um MoE do mesmo tamanho e processamento, reduz o custo de uso em até 83% e roda quase tão rápido quanto um modelo denso. Acrescentar casas quase não o deixa mais lento.
Fonte: Huang et al., Ultra-Sparse Memory Network (ByteDance, ICLR 2025)
Promissor
No Google, a memória de longo prazo é uma pequena rede que muda os próprios pesos durante a leitura. Ela anota o que a surpreende (medido pelo tamanho do seu erro) e esquece aos poucos o resto. A atenção clássica faz o papel de memória curta. Resultado: contextos de mais de 2 milhões de tokens, com melhor busca da agulha no palheiro do que modelos maiores.
Fonte: Behrouz et al., Titans: Learning to Memorize at Test Time (Google, 2025)
É a prova mais direta até hoje de que se pode separar o saber do raciocínio dentro do próprio modelo. Com o Engram, cortar a memória derruba os fatos, mas não todo o resto; e a memória até libera as primeiras camadas da rede para raciocinar.
É também um caminho de economia: a memória pode ficar na RAM comum, barata, e uma atualização mexe só em algumas casas em vez de retreinar o modelo inteiro.
Ler numa tabela gigante custa pouco processamento, mas exige muita largura de banda de memória: foi preciso uma implementação dedicada para que fosse eficiente. Os testes publicados vão até 8 bilhões de parâmetros-base na Meta e 27 bilhões na DeepSeek. E essa memória continua interna e opaca: ao contrário de uma base externa, ainda não dá para ler nela uma fonte nem citá-la.
Um apoio forte a H2 ("aprender o alto, consultar o baixo"), que passamos de 70% para 75% de confiança. Com o Engram, a melhor divisão fica em cerca de um quarto dos parâmetros em memória e três quartos em processamento: um primeiro número concreto para a fronteira de que trata nossa pergunta em aberto nº 3.
Um minimodelo com camada de memória: ensinar-lhe uma lista de fatos e depois corrigir um só, mexendo apenas nas casas dele. Verificar se ele guarda a correção e não esquece mais nada, e ver se as casas de um mesmo assunto se agrupam: seria uma hierarquia surgindo sozinha.