Cuaderno vivo · Códice n.º 1
¿Y si ordenáramos el saber antes de aprenderlo?
Este cuaderno es nuestra pizarra. En él anotamos pistas, hipótesis y conclusiones provisionales sobre una pregunta: cómo construir la IA de otra manera, para que cueste menos, consuma menos y se equivoque menos. Primer frente: una jerarquía de los datos, para aprender y para consultar.
Hoy se entrena un modelo con una «sopa plana»: billones de palabras, todas al mismo nivel. Un mensaje de pasada y un manual de física pesan lo mismo. Nuestra intuición inicial: parte del enorme apetito de datos de la IA sirve para reconstruir una jerarquía que nadie le da.
Fig. 1 — La pirámide del saber
Establecido
Experimentos controlados muestran que un modelo de lenguaje bien entrenado almacena unos 2 bits de conocimiento por parámetro, no más. Cada parámetro es valioso: llenarlo de detalles tiene un coste.
Fuente: Allen-Zhu & Li, Physics of Language Models 3.3 (2024)
Establecido
En el mismo estudio, cuando 7 de cada 8 textos de entrenamiento son ruido, la capacidad de retener el saber útil cae hasta 20 veces. Añadir simplemente el nombre del sitio de origen delante de cada texto ayuda claramente al modelo a clasificar. Una etiqueta de procedencia ya es una pequeña jerarquía.
Fuente: Allen-Zhu & Li, Physics of Language Models 3.3 (2024)
Primera forma de usar una jerarquía: ordenar y seleccionar los datos de entrenamiento para que el modelo aprenda más rápido y con menos. Como un alumno que sigue un buen manual en lugar de un montón de apuntes sueltos.
Establecido
phi-1 (1300 millones de parámetros), entrenado con datos «de calidad de libro de texto», superó en programación a modelos 10 veces más grandes entrenados con 100 veces más datos.
Más de 200 modelos entrenados con los datos presentados de lo fácil a lo difícil alcanzan el nivel de referencia con entre un 18 y un 45 % menos de pasos. Un «calentamiento» ordenado, seguido de un orden aleatorio, mantiene hasta un 3,5 % de ventaja.
Establecido
Otro estudio de 2026 concluye que estas ganancias dependen del tamaño: el orden estabiliza sobre todo a los modelos pequeños. En conjunto, los resultados publicados sobre el aprendizaje ordenado siguen siendo dispares.
Fuente: Elgaar & Amiri, Curriculum Learning for LLM Pretraining (2026)
Con una buena medida de lo que merece conservarse, el error puede bajar exponencialmente con el tamaño de los datos conservados, en lugar de seguir la ley lenta habitual. Demostrado en teoría y, en la práctica, en tareas de imagen.
Fuente: Sorscher et al., Beyond neural scaling laws (NeurIPS 2022)
Los Large Concept Models de Meta razonan frase a frase, en un espacio de significado compartido por 200 idiomas: una jerarquía explícita de las palabras a las ideas. Por ahora son menos fluidos que los modelos clásicos.
Establecido
Entrenar un modelo con lo que produjo el anterior, sustituyendo los datos reales, lo empobrece: los casos raros desaparecen primero. En cambio, acumular datos reales y sintéticos evita este colapso.
Fuente: Shumailov et al., AI models collapse… (Nature, 2024), Gerstgrasser et al., Is Model Collapse Inevitable? (2024)
Segunda forma: dejar el saber fuera del modelo, ordenado por pisos como una biblioteca (sección, estante, libro, página). El modelo solo baja hasta donde lo necesita para responder.
Fig. 2 — Buscar bajando
16 documentos · 4 pasos
Establecido
RETRO (DeepMind) recurre a una base de 2 billones de tokens mientras escribe. Iguala a GPT-3 con 25 veces menos parámetros.
Establecido
RAPTOR agrupa los pasajes de un texto, los resume y luego resume los resúmenes hasta formar un árbol. Junto a GPT-4, gana 20 puntos de precisión en una prueba de preguntas difíciles (QuALITY).
Establecido
GraphRAG (Microsoft) conecta las entidades de un corpus en un grafo, lo divide en comunidades anidadas y resume cada nivel. En las preguntas sobre todo el corpus, supera a la búsqueda clásica en el 70 al 80 % de las comparaciones. A cambio, indexar sale caro al principio.
Prometedor
Las «capas de memoria» de Meta añaden millones de pares clave-valor consultados a demanda: más saber sin más cálculo. En preguntas factuales, la precisión se duplica con creces.
Prometedor
Las memorias jerárquicas recientes para agentes estrechan la búsqueda piso a piso: el coste crece aproximadamente como el logaritmo del tamaño de la memoria. Una teoría de 2026 muestra que todos estos sistemas siguen el mismo esquema: agrupar, comprimir, desplegar cuando hace falta.
Fuente: Talebirad et al., Toward a Theory of Hierarchical Memory (2026), Hsu et al., HORMA, Organize then Retrieve (2026)
Lo que sigue es nuestro propio razonamiento, no un resultado publicado. La cifra de confianza dice cuánto lo creemos hoy; cambiará.
H1
Si diéramos al modelo la estructura de los datos (nivel, procedencia, dependencias), necesitaría menos ejemplos para reconstruirla.
Fuente: Allen-Zhu & Li, Physics of Language Models 3.3 (2024), Zhang et al., Beyond Random Sampling (EACL 2026)
H2
Como los parámetros escasean (unos 2 bits cada uno), reservémoslos para los principios y las formas de razonar. Los hechos y los detalles van a una memoria externa ordenada por pisos.
Fuente: Borgeaud et al., RETRO (DeepMind, 2021), Berges et al., Memory Layers at Scale (Meta, 2024)
H3
Igual que un físico recuerda la ley y los casos que la contradicen, guardaríamos las reglas y solo los datos que se les escapan. El resto podría deducirse.
Fuente: Sorscher et al., Beyond neural scaling laws (NeurIPS 2022)
H4
En un bucle donde cada generación de modelo aprende del saber comprimido por la anterior, conservar los datos brutos raros evitaría la deriva.
Fuente: Shumailov et al., AI models collapse… (Nature, 2024), Gerstgrasser et al., Is Model Collapse Inevitable? (2024)
H5
El saber real es una red: una misma idea pertenece a varias familias. La jerarquía útil estaría formada por varios árboles que se cruzan.
Fuente: Edge et al., GraphRAG (Microsoft, 2024), Sarthi et al., RAPTOR (ICLR 2024)
Lo que pensamos en este momento. «Provisional» es la palabra clave.
Bases externas, árboles de resúmenes, grafos de comunidades: las ganancias están medidas y reproducidas. Es la parte más madura de la cuestión.
Fuente: Borgeaud et al., RETRO (DeepMind, 2021), Sarthi et al., RAPTOR (ICLR 2024), Edge et al., GraphRAG (Microsoft, 2024)
Ordenar los datos ayuda un poco; elegirlos bien ayuda mucho más. Entrenar un modelo con una jerarquía explícita sigue casi sin explorar: ahí es donde hay más por descubrir.
Fuente: Zhang et al., Beyond Random Sampling (EACL 2026), Elgaar & Amiri, Curriculum Learning for LLM Pretraining (2026), Gunasekar et al., Textbooks Are All You Need (2023)
Los principios en los pesos, los detalles en la memoria. Es la hipótesis H2, hacia la que apuntan más indicios.
Las jerarquías escritas a mano, como el proyecto Cyc iniciado en 1984, nunca escalaron. La «lección amarga» de Richard Sutton: lo que aprende solo acaba ganando. La jerarquía debe ser aprendida y luego hecha visible, no dictada.
Fuente: Richard Sutton, The Bitter Lesson (2019), Cyc (Wikipedia)
Fig. 3 — El reparto propuesto
En el modelo
En la memoria