Llama 3 8B tiene 8000 millones de parámetros. Los mayores modelos abiertos tienen un billón o más. ¿Se puede cerrar esa distancia sin fabricar un nuevo gigante? Nuestra respuesta cabe en una frase: un modelo pequeño no necesita ser grande, necesita tener acceso a lo que el grande guarda en sus pesos. Aquí están el razonamiento, los cálculos y los límites.
Prometedoractualizado el
I
La pregunta, planteada con honestidad
Llama 3 8B salió en abril de 2024. Se entrenó con más de 15 billones de tokens, pero solo tiene 8000 millones de parámetros. Enfrente, Kimi K2 tiene un billón, y los modelos cerrados punteros probablemente son aún mayores, aunque no hay cifras oficiales. La diferencia de tamaño va, pues, de 125 veces a varios cientos de veces.
«Tan bueno» hay que precisarlo, o la pregunta no tiene respuesta. Tan bueno ¿en qué?, y ¿a qué coste? Un modelo pequeño que iguala a un gigante gastando diez veces más no ha ganado nada. Buscamos, pues, un modelo pequeño que consiga tantas respuestas correctas, con un coste comparable o menor, y diremos para qué tipos de tareas parece posible.
¿De dónde viene la distancia? Cuatro cosas distintas
Cuando un modelo grande lo hace mejor, no se trata de una sola ventaja sino de cuatro. No se cierran de la misma manera, y esa es toda la clave del problema.
1. El conocimiento, es decir, los datos retenidos. El cuaderno lo vio desde el principio: un modelo almacena unos 2 bits de conocimiento por parámetro. Hagamos la cuenta: 8000 millones × 2 bits = 16 000 millones de bits, o unos 2 GB de conocimiento para Llama 3 8B. Para un modelo de un billón: unos 250 GB. Una relación de 125.
2. El alcance: ¿sabe el modelo, al menos de vez en cuando, encontrar la respuesta correcta? Llamemos p a su probabilidad de acertar al primer intento. Si p vale cero, el problema está fuera de su alcance. 3. La fiabilidad: p no es cero, pero es pequeño. El modelo sabe hacerlo, solo que se equivoca a menudo.
4. La amplitud: saber un poco de todo, relacionar campos lejanos, captar un matiz, juzgar una pregunta abierta sin una única «respuesta correcta».
Nuestra idea central: cada parte tiene su propio remedio. El conocimiento va a una memoria externa. El alcance se aprende de un maestro o se toma prestado de una herramienta. La fiabilidad se compra intentándolo varias veces, siempre que haya un juez. La amplitud no tiene remedio sencillo: ahí es donde, creemos, los parámetros compran de verdad algo.
Un modelo nunca encuentra una respuesta que no tiene forma de construir. Dos remedios: aprender de un maestro que ya sabe (la destilación), o tomar prestada la capacidad de una herramienta que la tiene (una calculadora, un intérprete de código). Estos dos estudios muestran que un esqueleto «viejo» basta.
Establecido
Un esqueleto viejo, un maestro nuevo: DeepSeek-R1-Distill-Llama-8B
DeepSeek tomó Llama 3.1 8B, de la misma familia que Llama 3, y lo entrenó con razonamientos escritos por su gran modelo R1. Resultado: 50,4 % en la competición de matemáticas AIME 2024, frente al 9,3 % de GPT-4o; 89,1 % en MATH-500, frente al 74,6 %; y en ciencias (GPQA Diamond), 49,0 % frente al 49,9 %, casi empatados. Como comparación, Meta indica un 51,9 % en MATH para su propio Llama 3.1 8B, una prueba parecida pero no idéntica. El número de parámetros no cambió: lo que cambió fue lo que se les enseñó.
Tomar prestada la capacidad: ToRA, con una herramienta de cálculo
ToRA enseña a un modelo a alternar razonamiento en palabras y pequeños programas que hace ejecutar: cálculos, álgebra simbólica. Construido sobre Llama 2 (2023), ToRA-7B alcanza un 44,6 % en MATH, 22 puntos más que el mejor modelo abierto de la época, que era diez veces mayor (70 000 millones). La versión de 34 000 millones supera incluso a GPT-4 razonando sin herramienta. La herramienta no se equivoca al calcular: al modelo solo le queda saber qué pedirle.
Cerrar la fiabilidad: intentarlo varias veces y filtrar
Cuando p es pequeño pero no nulo, el remedio es sencillo en principio: intentarlo varias veces y quedarse con el intento correcto. Todo depende entonces del juez que lo reconoce. Tres estudios miden hasta dónde llega.
Establecido
Large Language Monkeys: 250 intentos (2024)
Al multiplicar los intentos, la proporción de problemas resueltos por al menos un intento sube de forma regular a lo largo de cuatro órdenes de magnitud. En SWE-bench Lite, una prueba hecha de incidencias reales de proyectos de GitHub, un modelo pasa del 15,9 % con un intento al 56 % con 250, por encima de la mejor puntuación de la época en un solo intento (43 %). Pero donde nada verifica automáticamente, elegir por votación o con un modelo de puntuación se estanca más allá de unos cientos de intentos.
Con una estrategia de intentos bien ajustada y un modelo que puntúa cada paso del razonamiento, Llama 3.2 1B obtiene un 72,2 % en MATH-500 con 512 intentos, frente al 71,4 % de Llama 3.1 405B en un intento. Una victoria ajustada, y el pequeño pierde en AIME 2024, más difícil. Nuestro cálculo: 512 intentos de un modelo de 1000 millones movilizan más o menos tantos parámetros por palabra como un intento del modelo de 405 000 millones (512 frente a 405), sin contar al juez. Con un cálculo casi igual, el pequeño empata.
rStar-Math: buscar como en el ajedrez (Microsoft, 2025)
Un modelo pequeño explora las soluciones paso a paso, como un programa de ajedrez explora las jugadas, guiado por un segundo modelo pequeño que juzga cada paso. Los dos mejoran juntos en cuatro rondas, sobre 747 000 problemas. Qwen2.5-Math-7B pasa del 58,8 % al 90,0 % en MATH, y Phi3-mini (3800 millones) del 41,4 % al 86,4 %, por encima de o1-preview. Los autores no destilaron ningún modelo más fuerte.
Cerrar el conocimiento: una memoria y especialistas
Para los datos, el remedio parece evidente: no aprenderlos, consultarlos. Los resultados tienen más matices de lo que cabría pensar. Y para la especialidad funciona otra idea: muchos pequeños especialistas en lugar de un solo generalista.
Establecido
MassiveDS: un billón de tokens para consultar (2024)
Un equipo de la Universidad de Washington reunió una base de 1,4 billones de tokens que el modelo consulta al responder. En las preguntas de datos (TriviaQA, Natural Questions), Llama 2 7B con una base de menos de 100 000 millones de tokens supera a Llama 2 13B y a Llama 3 8B sin base. Pero en MMLU y MedQA, que exigen más razonamiento, la memoria no permite que el pequeño supere al grande. Consultar aporta datos, no el razonamiento que los une.
Predibase ajustó 310 modelos pequeños (10 modelos base × 31 tareas) con adaptadores LoRA de 4 bits. De media, superan a su modelo base por 34 puntos y a GPT-4 por 10 puntos, cada uno en su tarea. Y como se comparte el modelo base, 25 especialistas Mistral 7B caben en una sola tarjeta gráfica de 80 GB. Límite: son tareas estrechas y bien definidas, no una conversación libre.
Construyamos un modelo sencillo. Un intento del modelo pequeño acierta con probabilidad p. Con k intentos independientes y un juez perfecto, la probabilidad de que al menos uno sea correcto es 1 − (1 − p)ᵏ. Por ejemplo, con p = 30 % y 5 intentos: 1 − 0,7⁵ = 1 − 0,168 = 83 %.
¿Cuántos intentos para igualar a un modelo grande que acierta el 80 % de las veces al primer intento? Hace falta 1 − (1 − p)ᵏ ≥ 0,8, es decir k ≥ ln(0,2) / ln(1 − p). Para p = 30 %: 5 intentos. Para 12 %: 13 intentos. Para 5 %: 32 intentos. Para 0 %: nunca. Es la figura de abajo.
Queda el coste. Un intento del pequeño cuesta una fracción c de un intento del grande, más o menos la relación de parámetros activos por palabra. El pequeño compensa si k × c < 1. Combinando las dos fórmulas se obtiene un umbral: el pequeño gana en cuanto p supera 1 − 0,2ᶜ. Ese umbral depende muchísimo del gigante que tenga delante.
Frente a un gigante denso de 2 billones de parámetros, c = 8 / 2000 = 0,004 y el umbral cae al 0,6 %: casi todo lo que el pequeño sabe hacer, aunque sea raramente, se vuelve rentable. Frente a un gigante de expertos con 100 000 millones de parámetros activos, c = 0,08 y el umbral sube al 12 %. Frente a Kimi K2 y sus 32 000 millones activos, c = 0,25 y el umbral llega al 33 %.
Dos lecciones. Primero, cuanto más ahorrativo es el gigante, más difícil es vencerlo: los gigantes de expertos, que solo encienden una pequeña parte de sí mismos, reducen la ventaja del pequeño. Segundo, el juez es la pieza clave: sin él, no se sabe cuál de los k intentos quedarse. Por último, una advertencia honesta: nuestro cálculo supone intentos independientes y un juez gratuito. En realidad, un modelo repite a menudo el mismo error, y Brown y sus coautores observan una subida más lenta que nuestra fórmula: más o menos la misma ganancia cada vez que se duplica el número de intentos. Hacen falta, pues, más intentos de los que indica este cálculo.
Acierta el 30 % de las veces: bastan 5 intentos12 %: 13 intentos5 %: 32 intentos0 %: nunca
Esquema ilustrativo: muestra la idea, no mediciones.
Cada curva sigue la fórmula 1 − (1 − p)ᵏ: la probabilidad de que al menos uno de k intentos sea correcto, si un juez sabe reconocerlo. Los puntos marcan dónde el modelo pequeño alcanza a un modelo grande que acierta el 80 % de las veces al primer intento. Es un cálculo ideal: en realidad, los intentos de un mismo modelo se parecen, y hacen falta más.VII
El plan: el taller del modelo pequeño
Esta es nuestra propuesta. Reúne las pistas del cuaderno alrededor del modelo pequeño, como los aprendices y las herramientas alrededor del maestro en el taller de Leonardo. Seis piezas.
1. Un enrutador reconoce el tipo de pregunta (cálculo, código, dato, redacción) y elige las piezas útiles. 2. Una biblioteca de especialistas: adaptadores LoRA, uno por dominio, aprendidos de un modelo grande. Nuestro cálculo: un adaptador de rango 16 sobre todas las capas de Llama 3 8B tiene unos 42 millones de parámetros, el 0,5 % del modelo y unos 84 MB. Mil especialistas pesan 84 GB y solo uno se enciende a la vez: es una mezcla de expertos, pero a escala del sistema.
3. Una memoria externa jerarquizada, como en las partes II y III: los datos no están en los pesos sino en una base organizada en árboles y grafos. 4. Una caja de herramientas y de programas: calculadora, intérprete de código, solucionadores, y los programas ya encontrados, reutilizados como la biblioteca de habilidades de Voyager.
5. Un juez: pruebas para el código, un recálculo para las matemáticas, un modelo que puntúa los pasos en lo demás. El modelo pequeño lo intenta varias veces, el juez filtra. 6. Un recurso: si nada pasa el juez, la pregunta sube al modelo grande, como en una cascada. Su respuesta, una vez verificada, sirve para entrenar al siguiente especialista: lo alto de la pirámide enseña a lo bajo (hipótesis H7).
Un último cálculo dice si el conjunto merece la pena. Cada pregunta cuesta k × c (los intentos del pequeño) más la parte e de preguntas que suben al grande. Con 8 intentos a c = 0,08, eso da 0,64 + e. El taller compensa mientras menos del 36 % de las preguntas suban. Al 10 %, cuesta 0,74, alrededor de un cuarto menos que el gigante solo. Y cada pregunta que sube enriquece a los especialistas, así que e debería bajar con el tiempo.
Buena noticia: la edad de los pesos importa menos que lo que se les enseña después. ToRA se construyó sobre Llama 2 (2023); DeepSeek-R1-Distill-Llama-8B, sobre Llama 3.1 8B, de la misma familia que Llama 3. En los dos casos, un entrenamiento complementario con buenos ejemplos hizo dispararse los resultados.
Los verdaderos límites de Llama 3 8B están en otra parte. Su ventana de contexto: 8000 tokens, unas 6000 palabras, una docena de páginas. Es poco para leer documentos sacados de una memoria; Llama 3.1 la amplió a 128 000. Su punto de partida en matemáticas: 30 % en MATH, según Meta. Cuanto más bajo es el punto de partida, más pequeño es p, y más intentos hacen falta, o un maestro.
Nuestra receta para un modelo viejo, por orden: primero un adaptador aprendido de un maestro, para que sepa razonar largo y llamar a herramientas; después la memoria y las herramientas, para los datos y los cálculos; por último, los intentos múltiples con un juez, donde lo haya. El orden importa: los intentos múltiples solo ayudan si p ya es lo bastante grande, y es el maestro quien lo hace subir.
Las preguntas sin juez. Redactar, aconsejar, zanjar una cuestión abierta: ningún programa dice qué intento es el mejor. Elegir por votación o con un modelo de puntuación se estanca tras unos cientos de intentos.
El alcance nulo. Si p vale cero, ningún número de intentos ayuda. El propio aprendizaje por refuerzo no va más allá de lo que el modelo base encuentra en muchos intentos. Hace falta entonces un maestro o una herramienta, y no siempre existen.
La amplitud. Relacionar mil datos dispersos, captar un matiz, retener un documento largo. La memoria ayuda con un dato preciso, mucho menos para razonar sobre muchos datos a la vez: MassiveDS no ayudaba al pequeño a superar al grande en MMLU. Ahí es donde, creemos, los parámetros compran de verdad algo.
El tiempo. Treinta y dos intentos llevan tiempo, o máquinas en paralelo. Para una conversación fluida es un freno real, incluso cuando el coste total es menor.
En las tareas verificables, la distancia es sobre todo de fiabilidad · 65 %
En matemáticas, en código con pruebas, en demostraciones formales, el modelo pequeño encuentra a menudo la respuesta correcta alguna vez: multiplicarlo con intentos y un juez cierra lo esencial de la distancia. Esta apuesta caería si se encontraran muchos problemas que el gigante resuelve y el pequeño no resuelve nunca, ni en mil intentos.
Especulativo
Los datos aislados se compran con disco, no con parámetros · 60 %
Para una pregunta cuya respuesta cabe en un documento, una buena memoria externa vale cientos de miles de millones de parámetros. Para una pregunta que exige combinar muchos datos, mucho menos.
Especulativo
Un viejo 8B bien rodeado iguala a un gigante en una lista cerrada de tareas · 55 %
En un conjunto definido de tareas verificables, un Llama 3 8B con adaptadores, una memoria, herramientas y un juez alcanzaría el nivel de un modelo de un billón de parámetros, con un coste comparable. Es nuestra hipótesis H8.
Especulativo
En las tareas abiertas, la distancia seguirá · 70 %
Escribir, aconsejar, juzgar: sin verificador, multiplicar los intentos casi no sirve, y la amplitud no se destila en un adaptador. Creemos que aquí los gigantes conservan una clara ventaja.
XI
El experimento por hacer, y nuestras predicciones
Tomar Llama 3.1 8B, o Llama 3 8B para ponerlo más difícil, y construir el taller. Compararlo, a igual coste, con un modelo puntero en cuatro familias de tareas: matemáticas (MATH-500, AIME), código con pruebas (LiveCodeBench), datos con memoria (TriviaQA, Natural Questions) y preguntas abiertas juzgadas por personas.
Nuestras predicciones, escritas antes de cualquier experimento para que se nos pueda quitar la razón. En matemáticas y código: a menos de 5 puntos del gigante, con un coste igual o menor. En datos: a menos de 10 puntos con una buena memoria. En preguntas abiertas: un retraso claro. Si la distancia en matemáticas supera los 15 puntos, nuestra apuesta sobre la fiabilidad cae, y bajaremos H8.