Profundización · Folio IV
Resolver un sudoku lleva tiempo; comprobar una cuadrícula llena lleva segundos. En muchos problemas, verificar es mucho más fácil que encontrar. La IA empieza a apoyarse en esta asimetría a dos escalas: la palabra y la respuesta entera.
Un modelo de lenguaje escribe una palabra cada vez, y cada palabra le obliga a releer todos sus pesos. Pero comprobar varias palabras propuestas puede hacerse en una sola pasada, casi tan rápido como escribir una. De ahí la idea: un modelo pequeño y rápido adivina, y el grande solo confirma.
A escala de una respuesta entera, la misma asimetría se mantiene: producir muchos intentos y dejar que un verificador (pruebas, un comprobador de demostraciones, una calculadora) se quede con el bueno.
En la decodificación especulativa (Google, 2023), el modelo pequeño propone unas pocas palabras; el grande calcula, en paralelo, la probabilidad que habría dado a cada una. Una ingeniosa regla de aceptación conserva las buenas y vuelve a sortear la primera mala, de modo que el texto sigue exactamente la misma distribución que el del modelo grande solo.
Cuanto más acierta el modelo pequeño, mayor es la ganancia. Los trabajos posteriores buscan, por tanto, que adivine mejor, en particular dándole acceso a los estados internos del modelo grande.
Fuente: Leviathan, Kalman & Matias, Speculative Decoding (ICML 2023)
Fig. K — Proponer y luego verificar
elgatoduermebajounen
4 palabras escritas con una sola pasada del modelo grande
Esquema ilustrativo: muestra la idea, no mediciones.
Establecido
En T5-XXL, de 2 a 3 veces más rápido con salidas idénticas, sin reentrenar ni modificar el modelo. Hoy es un componente estándar de los servidores de IA.
Fuente: Leviathan, Kalman & Matias, Speculative Decoding (ICML 2023)
Establecido
El modelo que propone es una pequeña cabeza conectada a las capas internas del modelo grande, no un modelo aparte. Aceleración reportada: hasta 6,5 veces, 1,4 veces mejor que EAGLE-2, y 1,38 veces más rendimiento incluso con 64 peticiones atendidas juntas.
Fuente: Li et al., EAGLE-3 (2025)
Prometedor
Con 250 intentos y las propias pruebas de los proyectos como verificador, un modelo abierto corrige el 56 % de incidencias reales de GitHub (SWE-bench Lite) frente al 15,9 % en un intento, por encima del mejor resultado en un intento de entonces (43 %). Cinco intentos del modelo barato costaban menos que un intento de los modelos caros, y resolvían más.
Todo depende del verificador. Para código con pruebas o una demostración matemática, la verificación es fiable. Para un ensayo o un consejo no hay prueba automática: los votos por mayoría y los modelos de puntuación se estancan tras unos cientos de intentos, muy por debajo de lo que permitiría un verificador perfecto. Y la decodificación especulativa acelera la escritura, no el pensamiento: no hace más inteligente al modelo grande.
La verificación refuerza las demás palancas de H6: una cascada necesita un juez, una herramienta necesita pruebas, un modelo pequeño puede intentarlo a menudo si algo controla su trabajo. También sugiere un papel para nuestra jerarquía: las reglas de lo alto de la pirámide podrían servir de verificadores para los detalles de abajo.
Para preguntas sobre artículos de OrigoTech cuya respuesta sea una cifra o una fecha, dejar que un modelo pequeño responda 10 veces y quedarse solo con las respuestas confirmadas por el propio texto del artículo. Comparar el acierto con una sola respuesta de un modelo grande.