Orden estricto
Ordenar de lo fácil a lo difícil según la diversidad del vocabulario da +1,8 % de precisión media con un 17,9 % menos de pasos.
Profundización · Folio II
Aprender en orden
Nadie aprende a leer con Proust. Sin embargo, los modelos se entrenan mezclándolo todo al azar. ¿Qué pasa si les presentamos los textos del más simple al más difícil?
La idea, en sencillo
Hoy, los miles de millones de textos de entrenamiento se mezclan al azar y se leen una sola vez. Un texto infantil puede ir justo después de un artículo de matemáticas avanzadas.
El curriculum learning (aprendizaje por currículo), propuesto por Yoshua Bengio en 2009, parte de una intuición escolar: empezar por lo fácil y subir poco a poco. Es una jerarquía en el tiempo: los datos no cambian, solo el orden.
Cómo se hace
Hacen falta tres ingredientes. Una medida de dificultad: una máquina no sabe qué es «difícil», necesita un indicador calculable. Un ritmo: pasar de golpe de lo fácil a lo difícil, o subir una pendiente suave. Un momento: ordenar todo el entrenamiento o solo el principio.
El estudio de Zhang y sus coautores (EACL 2026) examinó 15 medidas y se quedó con seis. Las más útiles: la tasa de compresión (un texto que se comprime bien es repetitivo, luego fácil), la diversidad del vocabulario (MTLD) y la longitud del texto. La perplejidad, es decir, la sorpresa del modelo, ayuda al principio y luego hunde los resultados: los textos «sorprendentes» suelen ser simple ruido.
Fuente: Zhang et al., Beyond Random Sampling (EACL 2026)
Fig. A — Dos cintas transportadoras
Aleatorio
Ordenado
Esquema ilustrativo: muestra la idea, no mediciones.
Lo que muestran los experimentos
Más de 200 entrenamientos, sobre todo con modelos de 500 millones de parámetros y 10 000 millones de tokens, con una comprobación a 1000 millones de parámetros.
Una pendiente suave
Con un ritmo lineal, la tasa de compresión alcanza el mejor nivel de referencia con un 39,5 % menos de pasos. En versión intercalada, la ganancia sube al 41,7 %.
Calentar y luego mezclar
Ordenar solo el principio y volver luego al azar deja una ventaja duradera: hasta +3,5 % con 500 millones de parámetros y +3,2 % con 1000 millones.
Es el orden lo que cuenta
Control decisivo: mezclar al azar los mismos datos «fáciles» ayuda un poco, pero menos que presentarlos en orden. La ganancia no viene solo de la selección.
El contrapunto
Otro estudio (modelos de 14 a 410 millones de parámetros, 300 000 millones de tokens) concluye que el orden estabiliza sobre todo a los modelos pequeños y que la ventaja se reduce con el tamaño.
Fuente: Elgaar & Amiri, Curriculum Learning for LLM Pretraining (2026)
El orden inverso de la industria
Los laboratorios suelen hacer lo contrario de un currículo escolar: guardan los mejores datos para el final. OLMo 2 (Ai2) dedica su último 5 a 10 % de cálculo a una mezcla de alta calidad (matemáticas, ciencias, preguntas y respuestas). Es lo que se llama mid-training o «recocido».
Pero incluso esa colocación se discute: un estudio de 2025 muestra que el final del todo no siempre es el mejor momento, y explica por qué un recocido con ejercicios de matemáticas ayudó al Llama 3 de 8000 millones de parámetros pero no al de 405 000 millones. El buen orden depende del momento del aprendizaje, no solo de los datos.
Fuente: OLMo et al., 2 OLMo 2 Furious (Ai2, 2025), Predicting Training Re-evaluation Curves (2025)
Los límites
Estos resultados proceden de modelos de tamaño medio y solo en inglés. La dificultad se calcula una vez, antes del entrenamiento: no se adapta a lo que el modelo ya sabe. Y las ganancias, reales, se quedan en unos pocos puntos porcentuales.
Lo que cambia para nuestras hipótesis
Es un apoyo modesto a la hipótesis H1: estructurar los datos ayuda, sobre todo al principio. Pero la «dificultad» medida aquí tiene una sola dimensión (corto o largo, simple o variado). Nuestra idea es más rica: niveles de abstracción (observación, hecho, regla, principio). Que sepamos, nadie ha ordenado todavía un entrenamiento según esos niveles.
H1 · El apetito de datos viene en parte de una jerarquía ausente (55 %)
Lo que nos gustaría probar
Dos currículos opuestos en un minimodelo: primero los ejemplos, luego la regla (como un niño), frente a primero la regla, luego los ejemplos (como un manual). Y un currículo que se adapte: medir lo que el modelo ya sabe y darle el siguiente peldaño.