¿Traducir un modelo y quedarse solo con lo necesario?
La idea de partida: ¿y si un traductor reescribiera el modelo en un lenguaje nuevo, para un arnés nuevo, guardando solo lo necesario? Mezcla tres cosas de dificultad muy distinta: traducir sin perder nada, cortar lo que no sirve y reescribir la red como código de verdad. Esto es lo que puede dar cada una, por qué la segunda choca con un fenómeno llamado superposición, cuánto ahorraría un traductor híbrido y qué mostró el experimento hecho aquí mismo.
Prometedoractualizado el
I
La idea, en pocas palabras
Piense en un libro de cocina de mil páginas escrito en latín. Usted solo quiere hacer postres. Un buen traductor podría hacer tres cosas cada vez más audaces. Una: traducir todo el libro al español, sin cortar nada. Lee más rápido y no se pierde nada. Dos: traducir solo el capítulo de postres. El libro adelgaza, pero si un postre dice «masa quebrada, ver página 212», está atascado. Tres: sustituir las recetas que siguen una regla por una fórmula («1 huevo por cada 100 g de harina») y guardar el texto solo para las excepciones.
Con un modelo de IA pasa lo mismo. El «lenguaje» es la forma en que está escrito el modelo; el arnés es el programa que lo ejecuta (como llama.cpp en un ordenador corriente); el traductor es la herramienta que pasa de uno a otro optimizando de paso.
II
Tres niveles, de lo seguro al sueño
Los tres niveles no se parecen en dificultad. El primero ya existe en todas partes, el segundo funciona a medias, el tercero solo existe en juguetes.
Establecido
Nivel 1 · Traducir sin perder nada: la compilación
Es lo que hace un compilador: el mismo cálculo, ejecutado con más eficiencia. Fusionar operaciones, redondear los pesos a menos bits, adaptar el cálculo al chip. Se gana habitualmente de 1,5 a 3 veces, sin cambiar las respuestas (o casi, con baja precisión). Algunos chips incluso aceleran los pesos nulos si siguen un patrón regular: dos ceros de cada cuatro, para un cálculo hasta dos veces más rápido.
SparseGPT pone a cero la mitad de los pesos de los mayores modelos abiertos en una sola pasada, con una pérdida de calidad casi invisible. Wanda lo hace igual de bien con una regla aún más sencilla: un peso importa si es grande y recibe señales fuertes. Estos métodos apuntan a un modelo general. Para una tarea estrecha, se espera cortar mucho más. Ahí empieza la dificultad.
Nivel 3 · Reescribir la red como código de verdad: la descompilación
El sentido inverso ya funciona: Tracr, en DeepMind, compila un pequeño programa en pesos de transformer. Y se sabe entrenar pequeños transformers para que puedan reconvertirse en programas Python legibles. Pero leer un modelo de 8000 millones de parámetros y sacar código de él, nadie lo consigue. La razón tiene nombre.
Imaginamos una red como una cómoda: un cajón para la química, otro para la gramática, otro para la suma. Bastaría con guardar los cajones buenos. No funciona así.
Una red tiene menos neuronas que nociones que representar. Las superpone: cada neurona participa en decenas de nociones a la vez, cada noción se reparte entre decenas de neuronas, como voces mezcladas en un coro. Elhage y sus coautores, en Anthropic, lo mostraron en modelos de juguete: en cuanto las nociones son raras, la red guarda muchas más de las dimensiones que tiene.
Consecuencia directa para nuestro traductor: un peso «inútil» para la tarea elegida puede llevar un trozo de otra habilidad de la que la tarea depende sin mostrarlo. Y nunca se sabe de antemano qué preguntará mañana el usuario. Cortar según la tarea es, por tanto, una apuesta: se gana mucho si las preguntas se quedan en el carril previsto, se pierde si se salen.
En lugar de elegir entre guardarlo todo y cortarlo todo, el traductor haría tres montones. Lo que sigue una regla (cálculo, fechas, formatos, conversiones) se convierte en código: exacto, casi gratis y válido incluso más allá de los ejemplos vistos. Lo difuso (el lenguaje, los matices, el sentido común) se queda como red, en un especialista podado para la tarea. Lo que se sale del carril se devuelve al modelo completo: es la salida de emergencia.
Es el encuentro de dos ideas del cuaderno: H3, «reglas + excepciones = compresión» donde se puede comprobar, y la cascada, en la que un modelo pequeño pasa el relevo cuando duda. El traductor no es una pista nueva: es la herramienta que las une.
Planteemos tres números. p, la parte de las preguntas que sabemos enviar al código: digamos el 20 %. s, el coste del especialista podado, como fracción del modelo completo. f, la tasa de llamadas: la parte de las preguntas en las que el especialista duda y llama al modelo completo. Cuando llama, se pagan los dos.
El coste medio de una pregunta vale entonces (1 − p) × (s + f). Con un especialista al 50 % y un 10 % de llamadas: 0,8 × (0,5 + 0,1) = 0,48, el coste se divide entre 2,1. Añadamos el nivel 1, una compilación que gana 1,5 veces: 0,48 ÷ 1,5 = 0,32, es decir, un tercio del coste inicial.
¿Dónde está el límite? La ganancia desaparece cuando (1 − p) × (s + f) llega a 1. Con s = 0,5, hace falta f = 1 ÷ 0,8 − 0,5 = 75 % de llamadas para perderlo todo: el sistema es robusto. Pero para dividir entre 2, hace falta f ≤ 0,5 ÷ 0,8 − 0,5 = 12,5 %. Con un especialista al 30 %, el margen sube al 32,5 %; con un especialista al 70 %, dividir entre 2 se vuelve imposible. Quédese con la lección de la figura: lo que más cuenta no es el tamaño del especialista, sino que sepa reconocer lo que no sabe.
Fig. P — Lo que cuesta un traductor híbrido
Especialista al 30 % del coste: ÷ 2 mientras las llamadas no pasen del 32,5 %Especialista al 50 % del coste: ÷ 2 mientras las llamadas no pasen del 12,5 %Especialista al 70 % del coste: nunca se divide entre 2
Esquema ilustrativo: muestra la idea, no mediciones.
Un cálculo, no una medición. El 20 % de las preguntas va al código, que no cuesta casi nada. El 80 % restante va a un especialista podado; cuando duda, llama al modelo completo y se pagan los dos. Coste = 0,8 × (coste del especialista + tasa de llamadas). El especialista no necesita ser perfecto: sobre todo debe saber cuándo no sabe.VI
H10, nacida ya dividida en eslabones
Como prometimos en la página «Las hipótesis a prueba», toda hipótesis nueva llega dividida en eslabones. Esta es H10: un traductor puede reescribir un modelo para un arnés nuevo y adaptarlo a una tarea, dividiendo el coste al menos entre 2 sin pérdida visible en esa tarea.
Eslabón a, 95 %: la traducción sin pérdida y la compilación funcionan; es el caso hoy. Eslabón b, 65 %: sabiendo eso, cortar según la tarea, con una salida de emergencia, divide el coste al menos entre 2 sin pérdida visible. Este eslabón depende de la superposición y de la tasa de llamadas. Cálculo: 0,95 × 0,65 = 62 %.
La forma ambiciosa añade un eslabón c, 20 %: una parte importante de un gran modelo se deja reescribir como código de verdad. Solo valdría 0,95 × 0,65 × 0,2 ≈ 12 %. La guardamos como pregunta, no como hipótesis.
El experimento, hecho aquí, y nuestras predicciones
No tenemos tarjeta gráfica, solo dos núcleos de procesador. Así que hicimos el experimento en miniatura, pero de verdad: un pequeño transformer de 0,8 millones de parámetros, entrenado aquí con dos tareas mezcladas. A, una regla: sumas de dos cifras, con el 20 % reservado para la prueba. B, un léxico con excepciones: los plurales de 600 palabras inventadas, el 80 % regulares (+ s), el 20 % irregulares que hay que aprender de memoria, más 150 palabras nuevas nunca vistas.
Después, los tres niveles. Nivel 1: un arnés escrito aparte, en NumPy, relee los pesos, en 32 y luego en 8 bits. Nivel 2: poda Wanda calibrada solo con la tarea A, del 25 al 90 % de los pesos, y luego retirada de neuronas enteras. Nivel 3: buscamos, a partir del comportamiento del modelo, el programa sencillo que reproduce cada tarea; lo que el programa no explica se convierte en una tabla de excepciones.
Nuestras predicciones se registraron en el repositorio antes de la primera ejecución, para que se nos pueda quitar la razón. Las principales: el arnés NumPy da al menos un 99,9 % de respuestas idénticas; con un 50 % de poda, la suma conserva al menos el 95 % de su precisión; por encima del 70 %, el léxico sufre más que la suma; el programa «a + b» reproduce al menos el 99 % de las respuestas del modelo; la regla «+ s» reproduce el 80 % ± 5; y en sumas de tres cifras, nunca vistas, el modelo falla casi siempre mientras el código acierta todo.
El modelo (805 929 parámetros) aprendió en 20 minutos con dos núcleos. Al principio: 100 % en las sumas nunca vistas, 100 % en las 600 palabras aprendidas, pero solo 83,3 % en las 150 palabras nuevas, cuando bastaba con añadir una «s»: la red retuvo la regla, pero no del todo. Y 0 % en las sumas de tres cifras: no entendió la suma en general, solo la que había visto.
Establecido
Nivel 1 · Traducir: se cumple, pero no es más rápido
El arnés NumPy, escrito aparte, da un 100 % de respuestas idénticas. En 8 bits, el 99,96 % de las respuestas siguen idénticas y la precisión no se mueve ni una décima, con un tamaño dividido entre 3,7 (3,2 MB → 0,87 MB). Pero nuestro arnés, sencillo y sin optimizar, es 7,7 veces más lento que PyTorch: traducir no acelera por arte de magia; la ganancia viene del trabajo del compilador.
Prometedor
Nivel 2 · Podar: una predicción fallida, una lección clara
Con el 50 % de los pesos retirados según la suma, esta conserva un 93,5 %: habíamos predicho al menos un 95 %, así que falla, por poco. Al 60 %, la suma cae al 71,9 % y el léxico al 45,2 %; al 70 %, 18,2 % frente a 3,0 %: lo que parecía inútil para la suma sostenía el léxico, como se predijo. Calibrando con el léxico ocurre lo contrario: al 70 %, conserva un 39,5 % mientras la suma cae al 5,5 %. Quitar la mitad de las neuronas de las capas MLP elegidas según la suma le deja un 95,9 % y hace perder 22 puntos al léxico.
Prometedor
Nivel 3 · Descompilar: la sorpresa
El programa «a + b» reproduce el 99,99 % de las 10 000 respuestas del modelo (una sola diferencia). La regla «+ s» reproduce el 80,17 %, y la tabla de excepciones tiene 119 palabras: 119 de los 120 irregulares, el último coincide por azar con una «s». El modelo híbrido logra un 100 % en todo, incluso donde la red fallaba: 100 % en las palabras nuevas (frente a 83,3 %) y 100 % en las sumas de tres cifras (frente a 0 %). Para estas dos tareas, dos líneas de código y una tabla de 1071 bytes sustituyen a un modelo de 3,2 MB.
IX
Lo que cambia el experimento
Siete predicciones de ocho se cumplen; la que cae trataba de la poda, por 1,5 puntos. La duda ha cambiado de sitio. La poda sola decepciona: incluso en un modelo minúsculo con tareas bien separadas, quitar la mitad de los pesos ya cuesta unos puntos, y la ventaja del especialista solo aparece en tasas en las que la tarea elegida también se hunde. Es la superposición, medida.
En cambio, la extracción de reglas sorprende: el código no se limita a imitar a la red, la supera allí donde la red generalizaba mal. Una red aprende una regla más o menos; una vez escrita, la regla vale en todas partes. Es el argumento más fuerte a favor del traductor híbrido.
¿Hay que mover H10? Según nuestras propias reglas, una cifra solo cambia si cambia un eslabón. Y un modelo de juguete de 0,8 millones de parámetros no dice casi nada de uno de 8000 millones: dejamos H10 en un 62 %, anotando hacia dónde apuntan los indicios. Dentro del eslabón b, la vía «cortar» pesa menos y la vía «convertir en código» pesa más. El siguiente paso sería el mismo experimento con un modelo de lenguaje pequeño de verdad, con preguntas mezcladas.
Segunda ronda: un modelo de lenguaje pequeño de verdad
El juguete no bastaba. Rehicimos el experimento con SmolLM2-135M, un modelo de lenguaje real de 135 millones de parámetros, en un ordenador personal que podía descargarlo. Tres ámbitos: código Python, prosa (WikiText-2) y 200 sumas de dos cifras planteadas tras tres ejemplos. Siete predicciones, registradas en el repositorio antes del lanzamiento. El cálculo duró seis minutos.
Al principio, el modelo predice bien el código (perplejidad 5,1: de media duda entre cinco palabras), peor la prosa (20,5), y solo acierta el 14 % de las sumas. El código, en cambio, acierta el 100 %.
Traducir a 8 bits: casi sin pérdida, pero una predicción fallida
La perplejidad se mueve un 0,4 % en el código y un 0,5 % en la prosa; el tamaño pasa de 538 a 220 MB (÷ 2,45, el vocabulario se queda en 32 bits). Pero solo el 85,5 % de las respuestas a las sumas siguen idénticas: habíamos predicho al menos el 95 %. En las preguntas en las que el modelo duda, un redondeo minúsculo basta para cambiar la respuesta.
Prometedor
Podar: el especialista existe, pero sale caro
Al 50 % según el código, la perplejidad del código sube un 56 % (predicho: al menos un 20 %) y la de la prosa se multiplica por 2,6; la suma cae al 0 %. Calibrar con un ámbito protege bien ese ámbito: al código le va mejor podado según el código (7,9) que según la prosa (10,3), y a la prosa mejor según la prosa (44) que según el código (52). Pero nuestra predicción «calibrado con la prosa, el código es el que más sufre» falla al 50 y al 60 %: la prosa es un ámbito tan amplio que un especialista en prosa sigue siendo un generalista.
Prometedor
Saber cuándo no se sabe: la señal existe, el margen no
Para devolver al especialista podado al 50 % a un 5 % de la pérdida del modelo completo en el código, hay que llamar al modelo completo en el 76,6 % de los fragmentos fiándose de la duda del especialista, frente al 83,3 % al azar y al 73,4 % con una brújula perfecta. La duda es, pues, una buena guía, casi tan buena como la brújula perfecta. Pero aun así hay que llamar tres veces de cada cuatro: habíamos predicho un 60 % como mucho.
XI
Lo que cambia la segunda ronda
Cuatro predicciones de siete se cumplen. Las tres que caen cuentan la misma historia: un modelo pequeño no tiene reserva. Redondearlo lo hace dudar, podarlo lo daña en todas partes, e incluso un especialista que sabe cuándo duda tiene que pasar el relevo casi siempre.
Rehagamos la Fig. P con los números reales. Un especialista al 50 % del coste que llama al modelo completo el 77 % de las veces cuesta 0,8 × (0,5 + 0,77) ≈ 1,01: más caro que no hacer nada. A este tamaño, la vía «cortar» no rinde nada. La vía «convertir en código», en cambio, se sostiene: del 14 % al 100 % en la suma.
Esta vez se mueve un eslabón, como exigen nuestras reglas: el eslabón b pasa del 65 % al 55 %, y H10 del 62 % a 0,95 × 0,55 ≈ 52 %. No lo bajamos más, porque los modelos grandes se podan mucho mejor que los pequeños: es lo que muestran SparseGPT y Wanda. La pregunta decisiva pasa a ser: ¿a partir de qué tamaño un especialista podado rinde más de lo que cuesta? Será la tercera ronda.
La segunda ronda dejó una pregunta abierta: ¿el especialista podado está condenado o solo es demasiado pequeño? Tomamos tres modelos de la misma familia, SmolLM2 de 135 millones, 360 millones y 1700 millones de parámetros, y el mismo protocolo para los tres: código, prosa, sumas, poda al 25 y al 50 %, medición de la duda. Siete predicciones, registradas antes del lanzamiento. Todo llevó un cuarto de hora en el chip gráfico de un Mac. El modelo de 135 millones, medido de nuevo, da casi la misma cifra que en la ronda anterior (77,1 % de llamadas contra 76,6 %): la medición es reproducible.
De entrada, el tamaño lo cambia todo en la suma: 14 %, luego 87,5 %, luego 95 % de aciertos. El código sigue haciendo el 100 %. En 8 bits, las respuestas siguen idénticas el 85,5 %, el 98 % y el 99 % de las veces: cuanto más grande es el modelo, menos lo hace dudar el redondeo.
Podar al 50 %: los modelos grandes lo aguantan mejor
Calibrada sobre el código, la poda multiplica la perplejidad del código por 1,53, luego 1,29, luego 1,22: la bajada con el tamaño es clara, como se predijo. El modelo de 1700 millones conserva incluso un 85,5 % de aciertos en las sumas con la mitad de sus pesos, cuando el pequeño caía al 0 %.
Prometedor
La duda: la tasa de llamadas baja, pero no lo bastante rápido
Para quedarse a menos del 5 % del modelo completo en código, el especialista podado al 50 % debe llamar al modelo completo para el 77,1 %, luego el 68,8 %, luego el 62,5 % de los fragmentos. Al azar harían falta el 82,6, el 75,1 y el 72,5 %: la duda sigue siendo una buena guía en todos los tamaños. Habíamos predicho como mucho un 60 % para 1700 millones: fallado por 2,5 puntos. El coste ideal pasa de 1,02 a 0,95 y luego a 0,90: por debajo de 1, así que rentable, pero por poco.
Prometedor
Podar al 25 %: casi gratis, en todos los tamaños
La verdadera sorpresa viene de la tasa más suave. Al 25 %, el especialista se mantiene a menos del 5 % del modelo completo en código sin ninguna llamada, en los tres tamaños. Coste ideal: 0,8 × (0,75 + 0) = 0,6, es decir, un coste dividido por 1,67. El código solo pierde un 2 a 3 % de perplejidad, la prosa un 6 a 8 %: el carril de la tarea queda protegido, el resto algo menos.
XIII
Lo que cambia la tercera ronda
Seis predicciones de siete se sostienen; la que cae se refería a la tasa de llamadas del modelo más grande, por 2,5 puntos. Un matiz: nuestra predicción «la duda supera al azar en cada tasa» no se plantea al 25 %, porque allí no hace falta ninguna llamada.
Prolonguemos la tendencia, con prudencia: solo hay tres puntos. La tasa de llamadas al 50 % baja unos 13 puntos cada vez que el modelo crece 10 veces. Para un modelo de 8000 millones, eso daría alrededor de un 53 % de llamadas y un coste ideal de 0,83. Para bajar al 12,5 %, el umbral que dividiría el coste por 2, haría falta un modelo del orden de 10 billones de parámetros. Conclusión: al 50 %, la poda sola nunca dividirá el coste por 2 dentro de nuestra tolerancia del 5 %.
El buen camino se dibuja de otro modo: podar con suavidad (25 %, sin llamadas, coste 0,6), compilar (× 1,5: 0,6 ÷ 1,5 = 0,4) y pasar a código lo que sigue una regla. Sobre el papel, eso divide el coste por 2,5. Una reserva importante: el único patrón de poda que los chips actuales aceleran de verdad, dos ceros de cada cuatro, corresponde justamente al 50 %, la tasa cara. La poda al 25 % solo compensa si el chip sabe aprovecharla.
El eslabón b sube por tanto del 55 % al 60 %, y H10 del 52 % al 0,95 × 0,60 = 57 %. La próxima pregunta ya no es «¿a partir de qué tamaño?», sino «¿en qué chip una poda al 25 % se vuelve de verdad más rápida?».
Cuarta ronda: cortar neuronas enteras, cronómetro en mano
El coste de 0,6 de la tercera ronda era «ideal»: suponía que el chip aprovecha los pesos puestos a cero. Pero los ceros dispersos en una matriz del mismo tamaño se calculan como cualquier otro número. Esta vez retiramos neuronas enteras de los bloques MLP de cada modelo, el 12,5 %, el 25 % o el 50 %: las matrices encogen de verdad, en cualquier chip. Y cronometramos el resultado en el chip gráfico de un Mac, en lugar de calcularlo. Nueve predicciones, registradas antes del lanzamiento.
El testigo confirma el punto de partida: con un 25 % de ceros dispersos, el modelo tarda exactamente lo mismo que el modelo completo, con un margen del 0,4 %, en los tres tamaños. Los ceros no hacen ganar nada en este chip.
El tiempo ganado sigue casi exactamente a los pesos retirados
Retirar neuronas enteras acelera de verdad. Para el modelo de 1700 millones, el tiempo de lectura baja a 0,91, 0,84 y luego 0,69 veces el del modelo completo, al retirar el 12,5, el 25 y luego el 50 % de las neuronas MLP. El modelo conserva entonces el 91, el 82 y el 65 % de sus pesos: el tiempo sigue casi exactamente al tamaño. Los modelos pequeños ganan algo menos, porque sus bloques MLP pesan menos en el total. La generación palabra a palabra gana tanto como la lectura.
Establecido
Pero el corte franco hace más daño
Al 25 %, la perplejidad del código se multiplica por 1,16, 1,12 y luego 1,10 (frente a 1,02 a 1,03 con ceros dispersos), y la de la prosa por más de 2. Hay que llamar entonces al modelo completo para el 35, el 33 y luego el 29 % de los fragmentos de código (al azar: 46, 44 y 42 %). Contadas esas llamadas, el coste medido vale 1,25, 1,20 y luego 1,13: más caro que no cortar nada. Al 50 % es peor aún: alrededor de un 80 % de llamadas y un coste cercano a 1,5.
Prometedor
Al 12,5 %: la primera ganancia de tiempo real, sin ninguna llamada
Cortando con suavidad, el especialista se mantiene a menos del 5 % del modelo completo en código sin ninguna llamada, en los tres tamaños. La ganancia es modesta pero medida: un 5 %, un 6 % y luego un 9 % menos de tiempo (coste 0,95, 0,94 y luego 0,91). El modelo de 1700 millones acierta incluso el 98 % de las sumas, frente al 95 % del modelo completo. La prosa, en cambio, ya pierde mucho (perplejidad × 1,4 a 1,5): el corte sí siguió el carril del código. Calibrar sobre la prosa habría sido un error: al 25 %, la perplejidad del código se multiplicaría por más de 2 en lugar de 1,1.
XV
Lo que cambia la cuarta ronda
Siete predicciones de nueve se sostienen. La primera que cae es la más interesante: habíamos apostado a que ningún corte haría ganar tiempo real una vez contadas las llamadas. Falso: al 12,5 %, el especialista es más rápido y no necesita ninguna llamada. La otra se decide por una milésima: al 25 %, la perplejidad del código del modelo más grande se multiplica por 1,099, y habíamos predicho más de 1,10. Una tercera se sostiene por poco y no por la razón prevista: pensábamos que la generación ganaría menos que la lectura en el modelo pequeño; las dos ganan lo mismo.
La lección cabe en una regla sencilla: en este chip, el tiempo ganado equivale más o menos a la parte de los pesos retirados. Dividir el coste por 2 exigiría, por tanto, retirar la mitad del modelo sin llamar casi nunca al completo. Sin reentrenamiento, estamos lejos: al 50 %, hay que llamarlo para ocho fragmentos de cada diez.
La pista siguiente es conocida: tras un corte, un reentrenamiento breve repara buena parte de los daños. LLM-Pruner lo hace en pocas horas con un método ligero; Sheared-LLaMA construye así buenos modelos pequeños por una fracción del coste de un entrenamiento completo. Si ese reentrenamiento llevara las llamadas con un corte del 25 % cerca de cero, la ganancia medida pasaría del 9 % a alrededor del 16 %.
Nuestra regla, escrita de antemano, decía: un coste medido por debajo de 0,9 haría subir el eslabón b; S9 acertada lo haría bajar. El mejor coste vale 0,91 y S9 cae: el eslabón b se queda en el 60 % y H10 en el 57 %. Pero el coste ya no solo se calcula: por primera vez, se cronometra.
En la cuarta ronda, retirar el 25 % de las neuronas MLP ahorraba entre un 10 y un 16 % de tiempo real, pero el especialista tenía que llamar al modelo completo para un tercio de los fragmentos: la ganancia desaparecía. Esta vez, tras el corte, el especialista sigue una breve sesión de recuperación. El modelo completo hace de profesor; el modelo cortado, el alumno, aprende a dar las mismas probabilidades que él sobre código. Es la destilación. El código de entrenamiento viene de archivos distintos de los de la evaluación, para que no pueda aprenderse las respuestas de memoria.
Se probaron dos formas de reparar. La primera reentrena directamente los pesos de los bloques MLP cortados. La segunda, LoRA, congela esos pesos y solo entrena pequeñas matrices añadidas al lado, como pósits en los márgenes de un manual, y luego las fusiona: es lo que permite que el modelo de 1700 millones y su profesor quepan en los 24 GB de un Mac. Once predicciones, registradas antes del lanzamiento. Todo llevó alrededor de una hora y media.
La reparación reduce mucho las llamadas, sin eliminarlas
Con un corte del 25 %, antes de reparar, hay que llamar al modelo completo para el 35 %, el 33 % y el 29 % de los fragmentos de código (135M, 360M, 1,7B): la cuarta ronda se reproduce al detalle. Tras la reparación, solo hace falta el 6 % para 135M y el 15 % para 360M, reparados directamente, y el 23 % para 1,7B, reparado con LoRA. El coste medido, llamadas incluidas, baja a 0,93, 1,03 y 1,06. El modelo pequeño se vuelve rentable: un 7 % de tiempo ganado. Los otros dos rozan el 1 sin bajar de él. Con un corte del 50 %, la reparación no basta: quedan dos tercios de llamadas.
Prometedor
Reentrenar los pesos repara mejor que LoRA
Con el mismo modelo de 135 millones y el mismo número de pasos, la reparación directa deja un 6 % de llamadas y LoRA un 15 %. Los «pósits» de LoRA son solo 2,5 millones de números ajustables, frente a decenas de millones en la reparación directa: corrigen menos. El modelo de 1700 millones solo tuvo LoRA, durante la mitad de pasos, por falta de memoria y de tiempo: su resultado (23 %) es, por tanto, un suelo y no un techo. Su reparación llevó 19 minutos.
Prometedor
Sorpresa: la prosa también mejora
Habíamos predicho que reentrenar con código dañaría aún más la prosa. Es lo contrario, en los tres tamaños: la perplejidad de la prosa baja un poco tras la reparación (por ejemplo, × 2,59 → × 2,38 para 135M). La explicación está en la destilación: el alumno no aprende solo la respuesta correcta sobre código, aprende toda la distribución de probabilidades del profesor, es decir, parte de su manera general de predecir cómo sigue un texto.
XVII
Lo que cambia la quinta ronda
Seis predicciones de once se sostienen: nuestra ronda menos acertada. Habíamos apostado a que la reparación bajaría las llamadas por debajo del 10 % y ahorraría al menos un 10 % de tiempo real; se queda a medio camino. La dirección es la buena, pero el efecto es más débil de lo que imaginábamos.
El mejor resultado viene del modelo más pequeño: cortado un 25 % y luego reparado, cuesta 0,93, mejor que el corte suave del 12,5 % sin reparación (0,95). Por primera vez, un corte franco seguido de una reparación ahorra tiempo real, llamadas incluidas. La ganancia es modesta, y la sesión de recuperación se paga una vez: unos minutos para un modelo pequeño, una veintena para el de 1700 millones.
La regla escrita de antemano decía: un coste por debajo de 0,9 haría subir el eslabón b; más del 20 % de llamadas tras la reparación en todos los tamaños lo haría bajar. No ocurre ninguna de las dos cosas: el eslabón b se queda en el 60 % y H10 en el 57 %. La próxima pregunta está clara: con una reparación más larga, o un reentrenamiento directo del modelo de 1700 millones, ¿bajan las llamadas del 10 %? Hará falta una máquina más grande que un Mac.
Cuando se detuvo la reparación de la quinta ronda, las llamadas seguían bajando. ¿Solo faltaba tiempo? Mantuvimos el mismo corte del 25 % y reparamos durante más tiempo, con controles por el camino: tras 300, 600 y 1200 pasos para el modelo de 360 millones (reentrenamiento directo), tras 150, 300 y 600 pasos para el de 1700 millones (LoRA). La tasa de aprendizaje se mantiene constante tras una breve subida, para que los controles de un mismo ensayo sean comparables. Siete predicciones, registradas antes del lanzamiento. Todo llevó dos horas y media en un Mac.
Las llamadas pasan del 33 % antes de reparar al 10 % tras 300 pasos, al 4 % tras 600 pasos y al 0 % tras 1200 pasos: en cada uno de los 48 fragmentos de código, el especialista cortado se mantiene a menos del 5 % del modelo completo. Su perplejidad en código ya solo se multiplica por 1,07 (frente a 1,12 antes de reparar), la prosa sigue mejorando (× 2,44 → × 2,14) y las sumas suben un poco (55 → 60 %). Mientras tanto, el alumno vio el código de entrenamiento apenas algo más de una vez: no tuvo tiempo de aprenderlo de memoria.
Prometedor
1700 millones con LoRA: la bajada se frena
Las llamadas pasan del 29 % al 23 %, al 21 % y luego al 19 % tras 150, 300 y 600 pasos: cada vez que se duplica el tiempo ya solo se ganan unos 2 puntos. LoRA corrige menos que el reentrenamiento directo, como en la quinta ronda; sus pequeñas matrices parecen estancarse. El coste medido baja a 1,05 sin bajar de 1. El modelo de 1700 millones necesitaría un reentrenamiento directo, demasiado pesado para la memoria de un Mac.
Especulativo
Un cronómetro menos fiable esta vez
Sin llamadas, el coste del especialista se reduce a su velocidad. Esta vez medimos 0,97 para el modelo de 360 millones. Pero durante este largo ensayo, el propio modelo completo se aceleró un 10 % entre el principio y el final (0,68 → 0,61 segundos por lote), cuando esa diferencia se quedaba por debajo del 1 % en las rondas 4 y 5. Esas dos rondas daban al mismo modelo cortado una velocidad de 0,87 a 0,88. Nuestra regla, escrita de antemano, toma el valor medido en el ensayo: lo mantenemos. El coste real probablemente esté más cerca de 0,88: la siguiente ronda vuelve a cronometrar el mismo modelo.
XIX
Lo que cambia la sexta ronda
Cinco predicciones de siete se sostienen. Las dos que caen se refieren al coste del modelo de 360 millones (0,97 medido, frente a menos de 0,95 predicho) y al de 1700 millones (19 % de llamadas, frente al 15 % como mucho).
La lección principal: para el modelo de 360 millones, solo faltaba tiempo. Un corte del 25 % seguido de una hora de reparación da un especialista que ya nunca necesita llamar al modelo completo en código. La cuestión de las llamadas queda resuelta para este modelo; solo queda la velocidad del corte, que las rondas 4 y 5 medían en un 12 o 13 % de tiempo ganado.
La regla escrita de antemano: un coste medido por debajo de 0,9 haría subir el eslabón b; más del 20 % de llamadas en los dos tamaños lo haría bajar. Ni lo uno ni lo otro: el eslabón b se queda en el 60 % y H10 en el 57 %. La duda que queda ya no trata de las llamadas, sino del cronómetro.
En la quinta ronda, la reparación por destilación también mejoró la prosa, aunque solo trataba de código. Nuestra explicación: el alumno no aprende solo la respuesta correcta, aprende todas las dudas del profesor. Para ponerla a prueba, una idea surgida de una conversación: tomar dos alumnos idénticos, el mismo modelo cortado un 25 % dos veces, y confiarlos al mismo profesor, con los mismos textos, en el mismo orden y durante el mismo tiempo.
Solo cambia una cosa: la manera de enseñar. El alumno «matices» aprende toda la distribución de probabilidades del profesor: «return al 70 %, yield al 20 %…». El alumno «respuestas» solo aprende la palabra preferida del profesor, como si solo recibiera el solucionario. Dos tamaños (135 y 360 millones), seis predicciones registradas antes del lanzamiento, algo menos de una hora en un Mac.
El alumno «matices» repite la quinta ronda al detalle
Toma exactamente el ajuste de la quinta ronda y da exactamente las mismas llamadas: 6,2 % para 135M y 14,6 % para 360M. La medición se reproduce de un día para otro. Su prosa mejora como entonces (× 2,59 → × 2,38 para 135M; × 2,44 → × 2,29 para 360M).
Establecido
El alumno «respuestas» acaba peor que antes de la clase
No es solo que progrese menos: retrocede. Sus llamadas pasan del 35 % al 73 % (135M) y del 33 % al 77 % (360M), su perplejidad en código se multiplica por 1,5 a 1,6, frente a 1,12 a 1,16 antes de la clase, y su prosa también empeora. Y sin embargo aprendió lo que se le pedía: acierta cada vez más a menudo la palabra preferida del profesor. Pero la distancia con las probabilidades del profesor aumentó durante la clase en lugar de reducirse.
Prometedor
Por qué: aprende a estar seguro de sí mismo
Cuando el profesor duda entre dos palabras, el alumno «respuestas» aprende a poner todo su peso en la primera. Se vuelve demasiado seguro de sí mismo. En un texto real, cada vez que la buena era la segunda palabra, recibe una fuerte penalización. El alumno «matices», en cambio, aprende a dudar donde duda el profesor. Es el «conocimiento oculto» que describían Hinton y sus colegas en 2015: las respuestas erróneas que el profesor considera plausibles enseñan casi tanto como la correcta.
XXI
Lo que cambia la séptima ronda
Seis predicciones de seis se sostienen: una primicia en este cuaderno. Nuestra explicación de la quinta ronda supera la prueba, y con más claridad de lo previsto. Copiar los matices del profesor es lo que repara; copiar solo sus respuestas estropea.
Una buena noticia para el cronómetro: esta vez fue estable (el modelo completo tarda lo mismo al principio y al final, con un margen del 1 %). El modelo de 360 millones cortado un 25 % funciona al 0,87 del tiempo del modelo completo, como en las rondas 4 y 5. El especialista reparado durante 1200 pasos en la sexta ronda, que ya no necesitaba ninguna llamada, costaría por tanto alrededor de 0,87.
Esa cifra quedaría por debajo del umbral de 0,9 que haría subir el eslabón b. Pero junta dos rondas, y nuestra regla se refiere a una medición hecha en un mismo ensayo. El eslabón b se queda, por tanto, en el 60 % y H10 en el 57 %, a la espera de un ensayo de confirmación: la reparación de 1200 pasos y el cronómetro estable, juntos, con la predicción escrita de antemano.
Juntas, las rondas 6 y 7 sugerían un especialista que nunca llama al modelo completo y funciona al 0,87 de su tiempo. Pero nuestra regla exige que todo se mida en un mismo ensayo. Así que repetimos la reparación de 1200 pasos del modelo de 360 millones cortado un 25 % y luego cronometramos alternando: modelo completo, especialista, completo, especialista… siete mediciones en total. Si la máquina se acelera o se frena por el camino, ambos modelos se ven afectados por igual. Cinco predicciones, registradas antes del lanzamiento.
Establecido
Cero llamadas, otra vez
Tras 600 pasos, hay que llamar al modelo completo para el 4,2 % de los fragmentos; tras 1200 pasos, para ninguno. La perplejidad del código ya solo se multiplica por 1,065, la prosa sigue mejorando y las sumas vuelven a subir al 60 %. Las cifras de la sexta ronda se reproducen casi al detalle.
Establecido
Un cronómetro por fin bajo control
Las cuatro mediciones del modelo completo difieren como mucho un 1,7 %, frente al 10 % de la sexta ronda. El especialista tarda 0,88 del tiempo del modelo completo, y esa proporción apenas varía de una vuelta a otra (0,882, 0,884, 0,882). Quitar una cuarta parte de las neuronas MLP ahorra un 12 % de tiempo real.
Establecido
Un coste medido por debajo de 0,9
Sin ninguna llamada, el coste medido se reduce a esa proporción: 0,88. Por primera vez, en un mismo ensayo y con un cronómetro estable, un especialista cortado y luego reparado es más rápido que el modelo completo, sin alejarse más de un 5 % de él en ningún fragmento de código.
XXIII
Lo que cambia la octava ronda
Cinco predicciones de cinco se sostienen. La regla escrita de antemano decía: si el cronómetro es estable y el coste está por debajo de 0,9, el eslabón b sube del 60 al 65 %. Es el caso: H10 pasa del 57 al 0,95 × 0,65 ≈ 62 %.
Lo que esto significa, sin exagerarlo: en el chip de un ordenador corriente, una hora de reparación basta para convertir un modelo cortado un 25 % en un especialista en código un 12 % más rápido, sin pérdida notable. Está lejos de dividir el coste por 2 como anuncia H10; el resto del camino tendrá que venir de otra parte (un corte más fuerte mejor reparado, compilación, pasar a código lo que sigue una regla). Pero la vía «cortar y luego reparar» funciona, y ya está medida.
La séptima ronda mostró que aprender las dudas del profesor repara y que aprender solo sus respuestas estropea. Entonces, ¿un profesor que exagera sus dudas enseña todavía mejor? Es la idea de la «temperatura», propuesta por Hinton y sus colegas en 2015: profesor y alumno aplanan sus probabilidades antes de la clase. Con T = 2, «return 90 %, yield 8 %» se parece más a «return 70 %, yield 20 %»; con T = 4, todavía más. Tres alumnos idénticos por tamaño (T = 1, 2 y 4), mismo profesor, mismos textos, misma duración. Cinco predicciones, registradas antes del lanzamiento.
El alumno con T = 1 sigue exactamente la clase del alumno «matices» de la séptima ronda. Da exactamente las mismas llamadas: 6,2 % para 135M y 14,6 % para 360M. Es la tercera vez que estas cifras salen idénticas, en las rondas 5, 7 y 9.
Establecido
Cuanto más exagera el profesor, menos aprende el alumno
Las llamadas aumentan con la temperatura: 6 → 10 → 15 % para 135M y 15 → 17 → 21 % para 360M, con T = 1, 2 y 4. La perplejidad del código y la de la prosa empeoran un poco en el mismo orden. Habíamos apostado a que T = 2 lo haría al menos tan bien como T = 1: falso, en los dos tamaños.
Prometedor
Por qué: ni demasiado seguro ni demasiado dudoso
El alumno que aprende una versión exagerada de las dudas acaba dudando demasiado, igual que el alumno «respuestas» de la séptima ronda acababa demasiado seguro de sí mismo. Los dos se alejan del profesor, en direcciones opuestas. La temperatura ayuda cuando un alumno pequeño aprende de un profesor grande y muy seguro de sí mismo, cuyos matices son casi invisibles. Aquí, el alumno es una copia dañada del profesor y su objetivo es parecerse exactamente a él: lo mejor es copiar sus probabilidades tal cual.
XXV
Lo que cambia la novena ronda
Tres predicciones de cinco se sostienen: la reproducción con T = 1, el empeoramiento con T = 4 y la duda como mejor guía que el azar. Las dos que caen son las que apostaban por una ganancia con T = 2.
Las rondas 7 y 9 dibujan juntas una regla sencilla para reparar a un especialista: debe aprender las probabilidades del profesor tal cual. Demasiado endurecidas (solo las respuestas) o demasiado suavizadas (una temperatura alta), enseñan peor. Esta ronda trataba de la manera de reparar, no del coste: H10 se queda en el 62 %.
El especialista de la octava ronda se había reparado y evaluado con código de la biblioteca estándar de Python: archivos distintos, pero el mismo estilo y los mismos autores. ¿Es bueno con el código Python, o solo con el de la biblioteca estándar? Repetimos exactamente la octava ronda, añadiendo una segunda evaluación con código ajeno: 48 fragmentos sacados de las fuentes de PyTorch y Transformers, nunca vistos durante el corte ni durante la reparación. Cinco predicciones, registradas antes del lanzamiento.
Establecido
En su terreno, la octava ronda se reproduce
En la biblioteca estándar, las cifras de la octava ronda vuelven idénticas: 0 % de llamadas tras 1200 pasos, una proporción de velocidad de 0,88 y un cronómetro estable (deriva del 1 %). Coste medido: 0,88.
Establecido
Con código ajeno, llama casi para un fragmento de cada dos
Con el código de PyTorch y Transformers, el especialista cortado llama al modelo completo para el 71 % de los fragmentos antes de la reparación, y todavía para el 48 % tras 1200 pasos. La reparación ayuda un poco (perplejidad × 1,29 → × 1,16), pero mucho menos que en su terreno. Coste medido con este código: 1,36, más caro que no cortar nada. Lo que llamábamos «especialista en código Python» es en realidad un especialista en la biblioteca estándar: su dominio es el de su reparación.
Establecido
Y su duda ya no lo guía
En su terreno, seguir la duda del especialista siempre requirió menos llamadas que el azar. Con código ajeno, ya no: 48 % de llamadas siguiendo la duda, 48 % al azar. El especialista no sabe reconocer los fragmentos que trata mal cuando salen de su dominio. Es un resultado importante para el traductor: su señal de alarma solo vale donde se ajustó.
XXVII
Lo que cambia la décima ronda
Una predicción de cinco se sostiene: la reproducción en la biblioteca estándar. Las otras cuatro caen, y por mucho. Nuestra ronda menos acertada, y sin duda la más útil.
La regla escrita de antemano decía: más del 20 % de llamadas con código ajeno devuelven el eslabón b del 65 al 60 %. Hace falta el 48 %: H10 vuelve a bajar del 62 al 57 %. La ganancia medida en la octava ronda sigue siendo cierta, pero solo en el terreno exacto de la reparación, y un traductor real tendría que saber cuándo sale de él: su duda no lo sabe.
Para acercarse a dividir el coste por 2, hay que cortar más. Retiramos el 50 % de las neuronas MLP del modelo de 360 millones y reparamos ocho veces más tiempo que en la quinta ronda, con controles tras 600, 1200 y 2400 pasos. Mismo cronometraje alterno, misma doble evaluación (biblioteca estándar y código ajeno). Cinco predicciones, registradas antes del lanzamiento.
Cortado a la mitad, tarda 0,75 del tiempo del modelo completo, con un cronómetro estable (deriva del 0,7 %): una cuarta parte del tiempo ahorrada, como en la cuarta ronda.
Establecido
Pero la reparación se estanca
En la biblioteca estándar, las llamadas pasan del 81 % al 54 %, al 50 % y luego al 46 % tras 600, 1200 y 2400 pasos. Cada vez que se duplica el tiempo ya solo se ganan 4 puntos. La perplejidad del código sigue multiplicada por 1,17 y la de la prosa por casi 5. Coste medido: 1,21. Con código ajeno es peor: 73 % de llamadas, coste 1,48.
Especulativo
Por qué: se quitó demasiado saber
Al 25 %, la reparación recuperaba casi todo lo que el corte había hecho perder. Al 50 %, solo recupera una parte, incluso con dos pasadas y media sobre el código de entrenamiento. Una explicación posible: la mitad de las neuronas ya no basta para contener lo que el modelo sabía, y la destilación no puede crear espacio. Trabajos como Sheared-LLaMA reparan con miles de millones de tokens, no con unos pocos millones.
XXIX
Lo que cambia la undécima ronda
Dos predicciones de cinco se sostienen: las llamadas bajan en cada control y el especialista funciona, en efecto, a 0,75. Las otras tres caen: tras 2400 pasos todavía hace falta un 46 % de llamadas y el coste se queda en 1,21.
La regla escrita de antemano no mueve H10: se queda en el 57 %. Las rondas 10 y 11 dicen lo mismo de dos maneras: en una máquina como un Mac, cortar y luego reparar funciona para un corte moderado y en un terreno preciso. Cortar más, o apuntar más amplio, exige una reparación de una escala muy distinta.
Duodécima ronda: estudiar con dos profesores, y un aduanero
La décima ronda había mostrado dos debilidades: el especialista reparado con la biblioteca estándar aguantaba mal con código ajeno, y su duda no detectaba los fragmentos que trataba mal. Atacamos las dos a la vez. Primero, el corte y la reparación se hicieron con una mezcla: mitad biblioteca estándar, mitad fuentes de Transformers. Después probamos un detector que no mira la duda del especialista, sino «a qué se parece» el fragmento: una huella de sus estados internos sobre el código conocido y la distancia de cada fragmento nuevo a esa huella. Seis predicciones, registradas antes del lanzamiento.
Establecido
Una reparación variada aguanta con código nunca visto
Tras 1200 pasos, el especialista llama al modelo completo para el 4 % de los fragmentos de la biblioteca estándar, el 0 % de los archivos de Transformers apartados y el 21 % de los fragmentos de PyTorch, que ninguna etapa había visto. En la décima ronda, reparado solo con la biblioteca estándar, llamaba para el 48 % con un código ajeno que mezclaba PyTorch y Transformers. Con los archivos de Transformers apartados, incluso lo hace algo mejor que el modelo completo (perplejidad × 0,997).
Establecido
El aduanero reconoce el código ajeno
El detector distingue los fragmentos de PyTorch del código conocido en el 93 % de los pares sacados al azar (área bajo la curva ROC de 0,93). La duda, en cambio, vuelve a fallar con PyTorch: seguirla exige más llamadas que el azar (21 % frente a 17 %). Mirar lo que lee el especialista funciona mejor que preguntarle si duda.
Prometedor
En un flujo mezclado, el coste baja de 1
En un flujo de 96 fragmentos, mitad biblioteca estándar y mitad PyTorch, como en un uso real, llamar primero para los fragmentos que el detector considera ajenos exige un 9,4 % de llamadas, frente al 11,5 % siguiendo la duda, el 13,8 % al azar y el 7,3 % de un oráculo que lo supiera todo. Con una proporción de velocidad de 0,88 y un cronómetro estable (deriva del 1,4 %), el coste medido baja a 0,97.
XXXI
Lo que cambia la duodécima ronda
Seis predicciones de seis se sostienen: la segunda vez en este cuaderno. Cada una de las dos debilidades de la décima ronda tiene su remedio: una reparación más variada y un detector que mira el fragmento en lugar de la duda.
Nuestra regla escrita de antemano pedía más para hacer subir H10: un coste por debajo de 0,95 en el flujo mezclado. Con 0,97, todavía falta un poco: el eslabón b se queda en el 60 % y H10 en el 57 %. Sin embargo, el traductor real va tomando forma: un especialista reparado en un terreno variado, un aduanero que envía lo ajeno al modelo completo y una ganancia modesta pero medida, incluso cuando el flujo mezcla lo conocido y lo desconocido.
Decimotercera ronda: doce profesores, y un aduanero con prisa
En la duodécima ronda, dos familias de código habían bastado para bajar las llamadas con PyTorch del 48 al 21 %. Llevamos la idea más lejos: reparación con doce familias de código Python a partes iguales (biblioteca estándar, Transformers, NumPy, pandas, SymPy, NetworkX, pip, setuptools, Rich, Pydantic, Pygments, Jinja2), y PyTorch sigue siendo el examen final. Y probamos un aduanero con prisa, que juzga el fragmento tras 8 capas de 32 en lugar de esperar a la última: si le parece ajeno, el especialista se detiene ahí y el modelo completo toma el relevo. Seis predicciones, registradas antes del lanzamiento.
Establecido
Más profesores no ayudan con PyTorch
Tras 1200 pasos, el especialista llama al modelo completo para el 0 % de los archivos apartados de las otras once familias: conoce bien lo que ha estudiado. Pero con PyTorch llama para el 23 %, tanto como con dos familias (21 %), y con la biblioteca estándar sube al 8 % (4 % en la duodécima ronda). Parte de la explicación está en nuestro montaje: a partes iguales, la familia más pequeña limitaba a todas las demás, y el alumno repasó tres veces un corpus más pequeño que en la duodécima ronda.
Establecido
El aduanero final pierde olfato
Con doce familias en su huella, el código conocido se vuelve muy variado y PyTorch se distingue peor: el área bajo la curva ROC baja de 0,93 a 0,73. En el flujo mezclado sigue exigiendo menos llamadas que la duda (11,5 % frente a 15,6 %), pero el coste se queda en 0,99.
Prometedor
El aduanero con prisa no ve nada, pero ahorra tiempo
Tras 8 capas, el detector ya no distingue PyTorch del código conocido (área bajo la curva ROC de 0,45, como lanzar una moneda): siguiendo su orden hace falta un 24 % de llamadas. Y sin embargo su coste es el mejor de la ronda, 0,95: leer 8 capas solo cuesta 0,2 del modelo completo, y cada fragmento devuelto pronto ahorra al especialista tres cuartas partes de su lectura. La ganancia viene de parar pronto, no del olfato.
XXXIII
Lo que cambia la decimotercera ronda
Dos predicciones de seis se sostienen: la buena nota con las familias estudiadas y un aduanero con prisa más barato que el final. Las otras cuatro caen: PyTorch se queda en el 23 %, la biblioteca estándar vuelve a subir, el aduanero con prisa no reconoce nada y el coste del aduanero final se queda en 0,99.
La regla escrita de antemano exigía que las llamadas con PyTorch bajaran del 12 %: H10 se queda en el 57 %. La lección es doble. Añadir familias no sustituye a un estudio más largo de cada una. Y un aduanero necesita una huella lo bastante nítida: cuanto más amplio es el terreno conocido, más se confunde lo ajeno con él. El mejor montaje sigue siendo, por ahora, el de la duodécima ronda.
El aduanero final de la duodécima ronda tenía buen olfato, pero juzgaba después de que el especialista lo hubiera leído todo. El de la decimotercera, colocado tras 8 capas, ahorraba tiempo sin ver nada. Retomamos exactamente el montaje de la duodécima ronda y colocamos seis aduaneros a lo largo del recorrido: tras 8, 12, 16, 20 y 24 capas de 32, y al final. Para no elegir el mejor a posteriori, la regla de H10 se aplicaba de antemano a uno solo, el de 16 capas. Cinco predicciones, registradas antes del lanzamiento.
Establecido
La duodécima ronda se reproduce al detalle
Mismo montaje, mismos resultados: tras 1200 pasos, 4,2 % de llamadas con la biblioteca estándar, 0 % con los archivos de Transformers apartados y 20,8 % con PyTorch, y el área bajo la curva ROC del aduanero final vuelve a ser 0,93. El cronómetro es estable (deriva del 0,5 %).
Prometedor
El olfato solo aparece al final del todo
Los aduaneros intermedios casi no ven nada: área bajo la curva ROC de 0,63 con 8 capas, 0,62 con 12, 0,52 con 16, 0,49 con 20, 0,69 con 24 y luego 0,93 al final. El olfato no crece poco a poco con la profundidad: surge en la última capa. Una explicación posible, que esta ronda no comprueba: la última capa sirve para predecir la palabra siguiente, y es ahí donde el vocabulario propio de cada biblioteca deja una huella nítida; las capas intermedias describen la estructura del código, común a todas.
Establecido
Parar pronto gana sin ver
El aduanero de 16 capas, el de nuestra regla, exige un 21 % de llamadas y cuesta 0,98, más que el aduanero final (0,97). El más barato sigue siendo el de 8 capas, 0,94, aunque casi no ve nada: como en la decimotercera ronda, gana porque detiene pronto al especialista en una parte de los fragmentos, no porque ordene bien. Elegir ese aduanero a posteriori sería hacer trampa; nuestra regla no lo permite.
XXXV
Lo que cambia la decimocuarta ronda
Una predicción de cinco se sostiene: la reproducción de la duodécima ronda. Las otras cuatro caen: con 16 capas el aduanero no tiene olfato, no más que con 8, y su coste supera al del aduanero final.
La regla escrita de antemano no mueve H10: se queda en el 57 %. Ahora sabemos que, en este modelo, reconocer el código ajeno exige llegar hasta la última capa. Para ganar en los dos frentes haría falta un aduanero más sutil que una simple distancia sobre los estados ocultos, por ejemplo un pequeño clasificador entrenado para detectar lo ajeno desde las primeras capas.
La escala. Un modelo de 0,8 millones de parámetros con dos tareas limpias no es un modelo de 8000 millones frente a preguntas reales. Allí la superposición es mucho más densa y las tareas se mezclan mucho más.
Descompilar por el comportamiento no es leer la red. Nuestro nivel 3 adivina un programa a partir de las respuestas, no lo lee en los pesos. Funciona para una regla que ya sabemos nombrar; encontrar una regla desconocida es otro problema, el de AlphaEvolve.
La duda del especialista. Todo el cálculo descansa en un especialista que sabe cuándo no sabe. Los modelos suelen pecar de exceso de confianza; un desvío que se equivoca en silencio cuesta más de lo que ahorra.
Las ganancias reales de la poda. Poner pesos a cero no acelera nada si el chip calcula igualmente los ceros. Hay que cortar bloques enteros, o seguir los patrones que el chip sabe aprovechar, y esos cortes hacen más daño.