Hasta ahora hemos estudiado cada pista por separado. Pero una IA del mañana las usaría juntas. Pregunta sencilla, respuesta menos sencilla: ¿los ahorros se suman, o se pisan unos a otros?
Prometedoractualizado el
I
La idea, en pocas palabras
Imagine el taller de Leonardo. Para entregar más cuadros sin agotarse, puede confiar primero el trabajo a los aprendices (primero el modelo pequeño), llamar solo al especialista útil (los expertos), usar plantillas en lugar de pintarlo todo a mano (los programas), moler menos pigmento (menos bits), cambiar de herramientas (la máquina), hacer que el maestro lo revise (la verificación) y guardar sus modelos en un cuaderno en lugar de en la cabeza (la memoria aparte).
Cada truco ataca una parte distinta del coste. Por eso cabe esperar que se apilen. Pero también se tocan: una plantilla no sirve de nada si nadie comprueba el resultado, y muchos aprendices ocupan sitio en el taller. La figura recorre los 21 pares.
Expertos × menos bits: gpt-oss guarda sus expertos en 4 bits y cabe en una sola tarjeta gráfica.
Menos bits × máquina: NorthPole ejecuta un modelo de lenguaje en 4 bits, con los pesos guardados en el chip.
Expertos × máquina: muchos expertos son muchos pesos que alojar, y los chips con memoria integrada tienen poca.
Menos bits × verificar: los razonamientos largos acumulan errores de redondeo.
Esquema ilustrativo: muestra la idea, no mediciones.
Siete pistas dan 21 pares. Cada casilla indica si dos pistas se ayudan (+), se estorban (−), hacen ambas cosas (±) o se ignoran (·). Es una lectura del autor, basada en los estudios citados en el cuaderno: pocos estudios han probado dos pistas juntas, y casi ninguno ha medido la parte de cada una en la mezcla.II
El recorrido de una pregunta
Sigamos una pregunta a través de un sistema que usara las siete pistas. 1. Un enrutador la mira. Si un programa ya sabe responderla (un cálculo, una conversión), se le llama: es casi gratis.
2. Si no, responde un modelo pequeño. Está hecho de expertos de los que solo se encienden unos pocos, sus pesos están en 4 bits y funciona en un chip que guarda esos pesos junto al cálculo. 3. Si necesita un dato, lo busca en una memoria en lugar de fiarse de sus pesos.
4. Su respuesta pasa una verificación: pruebas si es código, y si no, un modelo mayor que confirma varias palabras de una vez. 5. Solo si la verificación falla, la pregunta sube al modelo grande. En cada paso, solo se paga el precio completo cuando hace falta.
III
Lo que se suma
Cuatro combinaciones ya funcionan en sistemas reales. Lo que tienen en común: las dos pistas actúan sobre factores distintos, de modo que una no se come la ganancia de la otra.
Establecido
Expertos + menos bits: gpt-oss y Kimi K2 Thinking
Los expertos reducen la parte del modelo que calcula; los 4 bits reducen el tamaño de cada peso. Las dos cosas se acumulan: gpt-oss solo enciende 5100 millones de sus 117 000 millones de parámetros y guarda sus expertos en 4 bits, lo justo para caber en una sola GPU de 80 GB. Kimi K2 Thinking hace lo mismo a escala de un billón de parámetros y genera unas dos veces más rápido.
Un chip que guarda los pesos en su sitio tiene poca memoria; los pesos en 4 bits ocupan la cuarta parte que en 16 bits. Así ejecutó IBM un modelo de 3000 millones de parámetros en 16 tarjetas NorthPole, a menos de un milisegundo por palabra. Sin la compresión, el modelo no habría cabido en los chips.
Programas + verificación: AlphaEvolve y ShinkaEvolve
Un programa se verifica fácilmente: se ejecuta y se mide. Eso permite dejar que un modelo proponga miles y quedarse solo con los mejores. AlphaEvolve sacó de ahí una multiplicación de matrices más corta y un 0,7 % de cálculo recuperado en Google; ShinkaEvolve bate un récord en 150 intentos.
Primero el modelo pequeño + verificación: la decodificación especulativa
La cascada más lograda es también una verificación: un modelo pequeño propone varias palabras y el grande las comprueba en una sola pasada. El texto final es exactamente el del modelo grande, pero sale de 2 a 3 veces más rápido, y hasta 6,5 veces con EAGLE-3.
Tres fricciones aparecen una y otra vez en los estudios. Surgen cuando dos pistas tiran de el mismo recurso: la memoria, la precisión o la confianza que merece el juez.
Prometedor
Muchos expertos contra poca memoria
Un modelo de expertos solo enciende unos pocos, pero tiene que tenerlos todos a mano. Los chips rápidos con memoria integrada tienen muy poca: Taalas graba un modelo de 8000 millones de parámetros, no uno de un billón. Las leyes de escala conjuntas suavizan el conflicto sin resolverlo: el número adecuado de expertos depende de la memoria disponible.
Cada palabra escrita se apoya en las anteriores, así que un pequeño error de redondeo puede propagarse. Los modelos que razonan largo son más sensibles: Moonshot AI explica que tuvo que aprender los 4 bits durante el entrenamiento de Kimi K2 Thinking. Y los modelos muy bien entrenados, los que más querríamos comprimir, son los más frágiles.
Una cascada vale lo que vale su juez. Un enrutador puede ser engañado a propósito para mandarlo todo al modelo caro, y con reglas iguales muchos enrutadores apenas superan la estrategia más simple. Cuantos más pisos se apilan, más jueces fiables hacen falta, y cada juez es una puerta más para un ataque.
Sobre el papel es tentador: si cada pista dividiera el coste entre 2, siete pistas lo dividirían entre 2⁷ = 128. Ese es el espíritu de nuestra hipótesis H6, que estimamos en un 35 %.
Pero una regla sencilla, la ley de Amdahl, enfría el entusiasmo: acelerar una parte del trabajo solo ayuda en esa parte. Ejemplo puramente ilustrativo: si el modelo grande supone la mitad del coste total y lo hacemos diez veces más barato, el coste total no baja un 90 % sino un 45 %. Se pasa de 100 a 50 + 5 = 55.
Las ganancias se multiplican, pues, cuando las pistas apuntan a partes distintas del coste (expertos y bits), y se solapan cuando apuntan a la misma: una cascada que evita el modelo grande ahorra menos si ese modelo ya se ha abaratado gracias a los expertos. Nuestra lectura: combinar rinde mucho más que una sola pista, pero claramente menos que el producto de las ganancias tomadas una a una. Nadie lo ha medido todavía como es debido.
La matriz es una lectura, no una medida. Se apoya en estudios que casi siempre prueban una pista a la vez. Los sistemas que combinan varias, como gpt-oss o Kimi K2, no publican lo que aporta cada pista a la mezcla.
También deja fuera dos costes muy reales: la complejidad (cada pista añadida es una pieza más que puede romperse) y el agrupamiento de peticiones. Un servidor es eficiente cuando atiende muchas preguntas parecidas a la vez; cada decisión de enrutamiento, cada profundidad variable, rompe un poco esos grupos.
VII
Cómo ponerla a prueba
Un experimento sencillo lo zanjaría: tomar un modelo abierto y añadir las pistas una a una, en varios órdenes, midiendo cada vez el coste por respuesta correcta en la misma prueba.
Si las ganancias se multiplican, el orden no importa y el último añadido rinde tanto como el primero. Si se solapan, cada añadido rinde menos que el anterior. Esa curva diría mejor que cualquier tabla por qué pista empezar.