Profundización · Folio III
En un modelo clásico, cada palabra atraviesa todos los «cajones» de la red, incluso los que no tienen nada que ver con ella. ¿Y si añadiéramos un inmenso fichero en el que el modelo solo abre las dos o tres fichas que necesita?
Un modelo de lenguaje guarda buena parte de su saber en las llamadas capas feed-forward. Funcionan como una memoria, pero una memoria densa: cada palabra las atraviesa enteras, lo que cuesta cálculo cada vez.
Una capa de memoria sustituye (o complementa) eso con una tabla gigante de pares clave → valor. Para cada palabra, el modelo solo lee unos pocos valores. Así se añaden miles de millones de parámetros sin añadir cálculo, como una biblioteca que crece sin que nadie lea más libros.
El problema: encontrar la mejor clave entre un millón exigiría normalmente un millón de comparaciones. El truco de las claves producto (Lample y sus coautores, 2019): cortar la consulta en dos mitades, comparar cada una con una lista de 1000 semiclaves y cruzar las mejores. Se obtiene el resultado correcto entre 1000 × 1000 = un millón de casillas con solo 2000 comparaciones.
Después, el modelo lee unos pocos valores (una treintena, por ejemplo), hace una media ponderada y una «compuerta» decide qué parte inyectar en el resto del cálculo.
Fuente: Lample et al., Large Memory Layers with Product Keys (NeurIPS 2019)
Fig. D — Encontrar la ficha adecuada sin abrirlas todas
Aquí bastan 8 + 8 comparaciones para encontrar la mejor casilla entre 64. Con 1000 + 1000 comparaciones se elige entre un millón.
Esquema ilustrativo: muestra la idea, no mediciones.
Prometedor
Hasta 128 000 millones de parámetros de memoria, añadidos a modelos base de hasta 8000 millones, entrenados con un billón de tokens. Los modelos con memoria superan a modelos densos que usan más del doble de cálculo, y a las «mezclas de expertos» con igual cálculo y parámetros. La ganancia es más clara en las preguntas factuales.
Prometedor
Una memoria consultada en tiempo constante a partir de las secuencias cortas de palabras del texto. Con igual tamaño y cálculo, el modelo de 27 000 millones gana +3 puntos en MMLU, +5 en razonamiento (BBH) y pasa del 84,2 % al 97 % en una prueba de búsqueda en un texto largo. La tabla de 100 000 millones de parámetros puede vivir en la memoria normal del ordenador, no en la de la GPU, escasa y cara, con menos de un 3 % de pérdida de rendimiento. Si se desactiva, el conocimiento factual se hunde (TriviaQA cae al 29 % de su nivel): ahí están guardados los hechos.
Fuente: DeepSeek, Engram: Conditional Memory via Scalable Lookup (2026)
Prometedor
Como cada hecho solo usa unas pocas casillas, se pueden actualizar solo esas. Al aprender hechos nuevos, un modelo clásico reentrenado por completo pierde el 89 % de su rendimiento en otras preguntas, y el 71 % con el método LoRA. Con la actualización selectiva de las casillas de memoria: solo un 11 %, para el mismo aprendizaje.
Fuente: Lin et al., Continual Learning via Sparse Memory Finetuning (Meta, 2025)
Se perfilan dos familias de memoria. Las tablas fijas (Memory Layers, UltraMem, Engram), aprendidas de una vez por todas. Y las memorias que se escriben durante la lectura, como Titans.
Titans guarda lo que le sorprende: es justo la idea de nuestra hipótesis H4, en la que las excepciones son lo que merece recordarse. Una máquina que solo memoriza lo inesperado es una forma de compresión «reglas + excepciones».
H4 · Las excepciones son el ancla (65 %)
Prometedor
Las «mezclas de expertos» (MoE) ahorran cálculo, pero al usarlas tienen que ir a buscar muchos parámetros a la memoria, lo que las ralentiza. UltraMem (ByteDance, 20 millones de casillas de memoria) es hasta 6 veces más rápido que un MoE del mismo tamaño y cálculo, reduce el coste de uso hasta en un 83 % y funciona casi tan rápido como un modelo denso. Añadir casillas apenas lo ralentiza.
Fuente: Huang et al., Ultra-Sparse Memory Network (ByteDance, ICLR 2025)
Prometedor
En Google, la memoria a largo plazo es una pequeña red que modifica sus propios pesos durante la lectura. Escribe lo que la sorprende (medido por el tamaño de su error) y olvida poco a poco el resto. La atención clásica hace de memoria corta. Resultado: contextos de más de 2 millones de tokens, con mejor búsqueda de la aguja en el pajar que modelos más grandes.
Fuente: Behrouz et al., Titans: Learning to Memorize at Test Time (Google, 2025)
Es la prueba más directa hasta hoy de que se puede separar el saber del razonamiento dentro del propio modelo. Con Engram, quitar la memoria hunde los hechos pero no todo lo demás; y la memoria incluso libera las primeras capas de la red para razonar.
Es también una vía de ahorro: la memoria puede ir en memoria RAM normal y barata, y una actualización solo toca unas pocas casillas en lugar de reentrenar todo el modelo.
Leer en una tabla gigante es barato en cálculo, pero exigente en ancho de banda de memoria: hizo falta una implementación específica para que fuera eficiente. Las pruebas publicadas llegan a 8000 millones de parámetros base en Meta y 27 000 millones en DeepSeek. Y esta memoria sigue siendo interna y opaca: a diferencia de una base externa, todavía no se puede leer en ella una fuente ni citarla.
Un apoyo fuerte a H2 («aprender lo de arriba, consultar lo de abajo»), que pasamos del 70 al 75 % de confianza. Con Engram, el mejor reparto es aproximadamente una cuarta parte de los parámetros en memoria y tres cuartas partes en cálculo: una primera cifra concreta para la frontera que plantea nuestra pregunta abierta n.º 3.
Un minimodelo con capa de memoria: enseñarle una lista de hechos y luego corregir uno solo tocando únicamente sus casillas. Comprobar que retiene la corrección y no olvida nada más, y ver si las casillas de un mismo tema se agrupan: sería una jerarquía que aparece por sí sola.