¿Un modelo pequeño que progresa solo, en un ordenador corriente?
En la página anterior, un gigante hacía de maestro del modelo pequeño. Aquí lo quitamos. Queda un modelo de 8000 millones de parámetros, un ordenador de videojuegos y noches libres. Nuestra respuesta cabe en una frase: el maestro no necesita ser más inteligente que el alumno, le basta con saber distinguir lo correcto de lo incorrecto. Aquí van el razonamiento, los cálculos y el techo que no es tan fácil de atravesar.
Prometedoractualizado el
I
La idea, en pocas palabras
Piense en un alumno solo con un cuaderno de ejercicios y el solucionario. Nadie le explica nada. Lo intenta, compara con el solucionario, recuerda lo que funcionó y vuelve a empezar. Al cabo de unas semanas, resuelve al primer intento ejercicios que antes solo resolvía una vez de cada cinco.
Un modelo de lenguaje puede hacer exactamente lo mismo. Intenta varias veces el mismo problema, un juez separa los intentos correctos, y el modelo se entrena con sus propios aciertos. Es el autoentrenamiento. El método STaR lo mostró ya en 2022, y ReST-EM, en Google, obtuvo mejores resultados aprendiendo de sus propios intentos filtrados que aprendiendo de soluciones escritas por humanos.
El punto clave: el juez no es un gran modelo. Es el solucionario, una prueba, una regla del juego. Comprobar es mucho más fácil que encontrar. Comprobar que una suma es correcta es inmediato; encontrar la demostración de un teorema puede llevar años. Esta asimetría permite que un maestro «tonto» enseñe a un alumno más inteligente que él.
Un modelo tiene dos notas. La primera es su acierto al primer intento. La segunda es su acierto en muchos intentos: la probabilidad de que al menos uno de sus intentos sea correcto. Los investigadores escriben pass@1 y pass@k. La diferencia entre ambas puede ser enorme: en el trabajo de Brown y sus coautores, la proporción de problemas resueltos sube de forma regular con cada duplicación del número de intentos.
Esa diferencia es competencia oculta: el modelo «sabe» encontrar la respuesta, pero no de forma fiable. El autoentrenamiento convierte la competencia oculta en competencia fiable. Casi no crea nada nuevo; vuelve seguro lo que era cuestión de suerte.
También es su límite, y volveremos sobre ello: Yue y sus coautores observan que el refuerzo sube pass@1, pero que con muchos intentos el modelo inicial resuelve tantos problemas o incluso más. Quédese con la imagen: el entrenamiento llena el vaso, no lo agranda. Buena noticia para un modelo antiguo como Llama 3 8B: menos fiable que un modelo reciente, suele tener el vaso más vacío, y por tanto más margen por llenar.
Todo depende del juez. Estos son los jueces que un ordenador corriente puede ejecutar por sí solo, del más seguro al más frágil.
Establecido
El solucionario: ejercicios cuya respuesta se conoce
Existen miles de problemas de matemáticas con su respuesta final. El juez simplemente compara dos números. Es el juez de ReST-EM, en la prueba MATH: generar, quedarse con los intentos correctos, volver a entrenar, repetir. Sencillo y sólido, pero la reserva de ejercicios es finita.
Para el código, el juez es el propio ordenador: se ejecuta el programa y se mira si pasa las pruebas. Absolute Zero va más lejos: el modelo inventa sus propios ejercicios de programación, un intérprete de Python los comprueba, y aprende sin ningún dato externo. Sus autores afirman superar a modelos entrenados con decenas de miles de ejemplos elegidos por humanos.
La regla del juego: un problema que se comprueba solo
El juego Countdown: llegar a un número objetivo con unos pocos números y las cuatro operaciones. Comprobar una solución lleva una línea de cálculo. TinyZero, en Berkeley, enseñó este juego a un modelo de 3000 millones de parámetros por refuerzo, y el modelo desarrolló por sí solo la costumbre de comprobar sus cálculos y buscar de otra manera cuando se equivoca. Todo por menos de 30 dólares de cómputo.
En su ordenador, usted es un juez gratuito. ¿El código propuesto falló? ¿La respuesta se corrigió a mano? Cada corrección es un ejemplo etiquetado. Es una idea nuestra, no probada aquí: un modelo local que aprende por la noche de las correcciones del día. El riesgo: un juez humano se cansa y se equivoca.
Prometedor
El voto: fiarse de la mayoría de sus propias respuestas
Sin solucionario, se puede responder 64 veces y tomar la respuesta más frecuente como «verdad». TTRL hace exactamente eso en problemas sin respuesta conocida y anuncia una subida de alrededor del 211 % en la competición AIME 2024 para un modelo de 7000 millones de parámetros. Frágil por naturaleza: cuando la mayoría se equivoca, el modelo aprende su error.
Dos resultados dan la medida de lo que cabe esperar, uno antiguo y sólido, el otro reciente y espectacular.
Establecido
STaR: aprender de sus propios razonamientos (2022)
El modelo escribe un razonamiento; se conservan los que llevan a la respuesta correcta. Cuando falla, se le sopla la respuesta y reescribe un razonamiento que conduzca a ella: es la «racionalización». En CommonsenseQA, el resultado rivaliza con un modelo 30 veces más grande entrenado de forma clásica.
Con un solo problema y un refuerzo comprobado, un modelo de 1500 millones de parámetros pasa del 36,0 % al 73,6 % en la prueba MATH500. Prudencia: gran parte del salto viene de que el modelo aprende a presentar su respuesta en el formato correcto; los autores miden 8,6 puntos más allá de ese efecto. Es la prueba de que la competencia ya estaba ahí, oculta.
Hagamos las cuentas para Llama 3.1 8B, es decir 8030 millones de parámetros. Guardados en 16 bits, pesan 16 GB: demasiado para la mayoría de las tarjetas gráficas. Dos trucos lo cambian todo.
Primer truco: redondear los pesos a 4 bits, como en QLoRA. 8030 millones × 0,5 bytes = 4,0 GB. QLoRA demostró que así se puede ajustar un modelo de 65 000 millones de parámetros en una sola tarjeta de 48 GB sin perder calidad.
Segundo truco: no tocar los pesos, sino añadir un adaptador (LoRA). Se congelan los 8000 millones de pesos y solo se entrenan pequeñas matrices injertadas al lado. Con un rango de 16 en todas las capas de Llama 3 8B, la cuenta da 41,9 millones de parámetros, es decir el 0,5 % del modelo y 84 MB. El entrenamiento guarda para cada uno cuatro números de 4 bytes (el parámetro, su corrección y dos promedios del optimizador): 41,9 M × 16 bytes = 0,67 GB.
Añadamos la memoria de trabajo. Para escribir, el modelo guarda 128 KB por cada palabra ya escrita; 16 intentos de 1000 palabras en paralelo piden 2,1 GB. Contemos además unos gigabytes para el propio entrenamiento. Total: de 9 a 10 GB. Cabe en una tarjeta de videojuegos de 12 GB, y con holgura en 16 o 24 GB.
Un premio inesperado: el adaptador olvida menos. Biderman y sus coautores muestran que LoRA aprende menos que un reentrenamiento completo en código y matemáticas, pero conserva mejor lo que el modelo ya sabía hacer en otros ámbitos. Para un modelo que se entrena solo durante semanas, olvidar poco importa más que aprender rápido.
Tomemos una noche de 8 horas y dividámosla en tres partes: 6 h de intentos, 1 h de aprendizaje, 1 h de control.
Los intentos (6 h). Una tarjeta de videojuegos de gama alta lee su memoria a unos 1000 GB por segundo; una tarjeta más modesta, entre dos y tres veces más despacio, y la noche da entonces entre dos y tres veces menos intentos. Para escribir una palabra, el modelo relee sus 4 GB de pesos: solo, se quedaría en unas 250 palabras por segundo. Llevando 16 intentos a la vez, la misma lectura sirve para 16 palabras. Tomamos una hipótesis prudente de 1000 palabras por segundo. En 6 h: 6 × 3600 × 1000 = 21,6 millones de palabras, unos 21 600 intentos de 1000 palabras. Suficiente para intentar 2500 ejercicios 8 veces cada uno (20 000 intentos), con margen.
El aprendizaje (1 h). Se conservan como mucho dos intentos correctos por ejercicio, es decir como mucho 5000 ejemplos de unas 500 palabras: 2,5 millones de palabras. Aprender cuesta, contando con holgura, 6 operaciones por parámetro y por palabra: 6 × 8000 millones × 2,5 millones = 1,2 × 10¹⁷ operaciones. Con un rendimiento efectivo de 40 billones de operaciones por segundo (una hipótesis, muy por debajo del máximo de estas tarjetas), eso lleva 50 minutos.
El control (1 h). El modelo hace un pequeño examen que nunca ha visto, más una serie de preguntas generales, para comprobar que ha progresado sin olvidar nada. Si la nota general baja, se descarta el adaptador de esa noche. Es el cinturón de seguridad de todo el método.
La electricidad. Un PC de videojuegos a plena carga consume unos 450 W (nuestra hipótesis). 450 W × 8 h = 3,6 kWh. A la tarifa regulada francesa de octubre de 2026, unos 0,20 € el kWh: 0,72 € por noche, unos 5 € a la semana.
VII
El cálculo: noche tras noche, ¿hasta dónde?
Construyamos un modelo de juguete. No todos los ejercicios son igual de difíciles para nuestro modelo: digamos que una cuarta parte nunca se resuelve, el 15 % se resuelve una vez de cada diez, el 25 % seis de cada diez y el 35 % nueve de cada diez. Su nota al primer intento: 0,15 × 10 % + 0,25 × 60 % + 0,35 × 90 % = 48 %.
Cada noche, intenta cada ejercicio 8 veces. Un ejercicio resuelto una vez de cada diez da al menos un intento correcto con una probabilidad de 1 − 0,9⁸ = 57 %: más o menos una noche de cada dos, aporta un ejemplo del que aprender. Un ejercicio nunca resuelto no aporta nada, nunca.
Supongamos que cada ejemplo aprendido acerca el ejercicio al éxito un 30 % del camino que queda. La nota pasa del 48 % al 60 % en dos noches, al 73 % en una semana, y luego se frena. Con un aprendizaje tres veces más lento (10 %), solo se llega al 61 % en una semana. Pero en ambos casos, la curva se acerca a la misma línea: 75 %, exactamente la proporción de ejercicios que el modelo inicial resolvía al menos una vez en 64 intentos.
Esta es la ley del techo, en una frase: el autoentrenamiento acerca la nota del primer intento a la nota en muchos intentos, no más allá. Es nuestra traducción en cifras de la observación de Yue y sus coautores. El modelo de juguete es optimista en un punto: Llama 3.1 8B ya fue ajustado después del preentrenamiento con ejercicios de este tipo, así que parte de su margen ya está gastada.
Fig. N — Noche tras noche, la nota sube hacia un techo
Aprendizaje rápido: 73 % tras 7 nochesAprendizaje lento: 61 % tras 7 noches
Esquema ilustrativo: muestra la idea, no mediciones.
Un modelo de juguete, no una medición. Una cuarta parte de los ejercicios nunca se resuelve al principio, el 15 % se resuelve una vez de cada diez, el 25 % seis de cada diez, el 35 % nueve de cada diez: 48 % al primer intento. Cada noche, 8 intentos por ejercicio; cuando al menos uno acierta, el aprendizaje acerca ese ejercicio al éxito (un 30 % o un 10 % del camino que queda). La velocidad depende del aprendizaje; el techo, en cambio, no se mueve: un ejercicio nunca resuelto nunca da nada que aprender.VIII
Subir el techo sin un gran modelo
Si el techo es lo que el modelo encuentra en muchos intentos, hay tres maneras de subirlo, y ninguna exige un gigante.
Soplar la respuesta. Es la racionalización de STaR: para un ejercicio nunca resuelto, se da la respuesta final y se pide un razonamiento que lleve a ella. El ejercicio con p = 0 por fin da una señal. El riesgo: un razonamiento que «acierta» por un camino equivocado. Hace falta, pues, un juez también para el razonamiento, no solo para la respuesta.
Graduar los ejercicios. Un ejercicio imposible hoy se vuelve factible si antes se pasa por versiones más sencillas. El modelo puede inventar esos peldaños él mismo, como en Absolute Zero, donde propone ejercicios justo en el límite de lo que sabe hacer. Es la idea de progresión del cuaderno, aplicada al alumno solo.
Darle herramientas. Una calculadora, un intérprete de Python, un buscador sobre una biblioteca local. Con una herramienta, ejercicios fuera de alcance se vuelven factibles a veces, y ese «a veces» basta para que el bucle arranque.
De ahí nuestra hipótesis H9: el mundo puede servir de maestro. Solucionarios, pruebas, reglas, herramientas, y lo que dura una noche.
¿Y si mil voluntarios prestaran su PC por la noche? El cálculo sorprende. Mil máquinas × 21 600 intentos = 21,6 millones de intentos por noche. Con nuestros 2500 ejercicios, son más de 8000 intentos por ejercicio y por noche. El cómputo deja de ser el problema: el cuello de botella pasa a ser la reserva de ejercicios comprobables.
¿Qué hay que intercambiar? Dos opciones. Se pueden intercambiar los adaptadores (84 MB cada uno) y fusionarlos. Ya se sabe entrenar un modelo entre varios a través de internet: DiLoCo iguala un entrenamiento clásico comunicando 500 veces menos, e INTELLECT-1, un modelo de 10 000 millones de parámetros, se entrenó en tres continentes con una treintena de proveedores de cómputo. Pero hay que fiarse de los pesos recibidos, y no se pueden releer.
Preferimos la segunda: intercambiar ejemplos comprobados. Una solución correcta pesa unos 2 KB; los 5000 ejemplos de una noche, 10 MB. Sobre todo, cualquiera puede volver a pasar el juez sobre un ejemplo recibido en una fracción de segundo. Un tramposo que envía ejemplos falsos queda al descubierto al instante. Se intercambian pruebas, no pesos. Es nuestra propuesta, no un resultado publicado.
El techo. Lo hemos calculado: sin ejercicios nuevos, sin respuestas sopladas y sin herramientas, la nota se detiene en lo que el modelo ya encontraba en muchos intentos.
El colapso. Un modelo que solo aprende de sus propios textos puede empobrecerse, generación tras generación: Shumailov y sus coautores lo demostraron. El juez externo limita este riesgo, porque filtra por corrección y no por estilo, pero no lo elimina: las soluciones conservadas se parecen cada vez más. Mantener los datos originales en la mezcla ayuda.
Engañar al juez. Un modelo aprende lo que se recompensa, no lo que se pretendía. Si las pruebas son débiles, aprenderá a esquivarlas. Un juez laxo fabrica un alumno tramposo.
El voto que se desboca. Cuando el juez es la mayoría de sus propias respuestas, un error frecuente se convierte en una «verdad» que se refuerza. En una noche, es un riesgo; en meses sin ancla externa, es nuestra principal preocupación.
Las tareas sin juez. Escribir una carta, dar un consejo: ningún programa dice qué intento es el mejor. Aquí, el ordenador corriente no sustituye a un maestro, humano o modelo.
Una semana de noches basta para una ganancia clara · 65 %
Llama 3.1 8B, entrenado 7 noches con sus propios intentos filtrados por un solucionario, gana al menos 5 puntos de acierto al primer intento en la prueba MATH-500, en una sola tarjeta de videojuegos. Esta apuesta caería si la ganancia se quedara por debajo de 2 puntos.
Especulativo
El techo se mantiene · 70 %
Su acierto en 64 intentos se mueve menos de 3 puntos. Lo que añade el bucle es fiabilidad, no alcance. Si esta apuesta cae, es una excelente noticia: el alumno solo descubriría de verdad algo nuevo.
Especulativo
Entre varios, el cuello de botella es el ejercicio, no el cómputo · 70 %
Una red de voluntarios que intercambia ejemplos comprobados progresa más rápido que cada uno por separado, pero agota pronto los ejercicios disponibles. El valor pasa de la potencia de cálculo a los jueces y los ejercicios.
Especulativo
Sin ningún ancla externa, deriva · 60 %
Un modelo que solo aprende del voto de sus propias respuestas progresa al principio y luego, a lo largo de meses, refuerza sus errores frecuentes y pierde diversidad. Siempre hace falta un trozo de mundo que diga acierto o error.
XII
El experimento por hacer, y nuestras predicciones
Tomar Llama 3.1 8B, o Llama 3 8B para endurecer la prueba, una tarjeta de 24 GB y un adaptador de rango 16. Sacar 2500 problemas del conjunto de entrenamiento de MATH, con sus respuestas. Cada noche: 8 intentos por problema, conservar como mucho dos intentos correctos, aprender y luego controlar. Siete noches.
Medir antes y después: el acierto al primer intento y en 64 intentos en MATH-500, y una serie de preguntas generales (MMLU) para el olvido.
Nuestras predicciones, escritas antes de cualquier experimento para que se nos pueda quitar la razón. Al primer intento: de +5 a +12 puntos. En 64 intentos: menos de 3 puntos de mejora. Preguntas generales: menos de un punto de pérdida. Coste: unos 5 € de electricidad. Si la ganancia al primer intento se queda por debajo de 2 puntos, bajaremos H9. Si supera los 15 puntos, o si la nota en 64 intentos se dispara, nuestra ley del techo es falsa, y revisaremos el cuaderno con gusto.