Profundización · Folio IV
Nadie llama a un cirujano por una astilla. Sin embargo, muchos servicios de IA envían cada pregunta, fácil o difícil, a su modelo más grande. Las cascadas cambian el orden: el modelo más barato lo intenta primero.
No todas las preguntas son iguales. «¿Cuál es la capital de Italia?» no necesita el mismo modelo que una demostración difícil. Una cascada ordena los modelos del más barato al más caro y se detiene en cuanto una respuesta basta.
Un enrutador hace lo mismo de una vez: lee la pregunta y predice, antes de cualquier respuesta, qué modelo bastará.
Todo depende del juez que decide si una respuesta es aceptable. En FrugalGPT (Stanford, 2023) es un pequeño modelo de puntuación entrenado para estimar si una respuesta es correcta; la cascada aprende el mejor orden de modelos y un umbral para cada paso.
El juez debe costar mucho menos que el paso siguiente, o se pierde lo que se quería ahorrar. Y cada intento fallido se paga: una pregunta que sube hasta arriba cuesta más que si hubiera ido allí directamente.
Fuente: Chen, Zaharia & Zou, FrugalGPT (2023)
Fig. G — La escalera de modelos
Preguntas:12345678
Coste medio por pregunta: 5,4 · todo al modelo grande: 20 · −73 %
Esquema ilustrativo: muestra la idea, no mediciones.
Prometedor
En sus pruebas, la cascada aprendida iguala a GPT-4 con un coste hasta un 98 % menor, o supera a GPT-4 en 4 puntos de precisión por el mismo precio. El estudio parte de una constatación: los precios de los distintos modelos difieren hasta en dos órdenes de magnitud.
Prometedor
Un enrutador entrenado con preferencias humanas (Chatbot Arena) elige, para cada pregunta, entre un modelo fuerte y uno débil. En MT Bench conserva el 95 % de la calidad de GPT-4 por 3,66 veces menos, sin la espera de una cascada.
Fuente: Ong et al., RouteLLM (ICLR 2025)
Establecido
La misma idea a la escala más pequeña: un modelo pequeño propone las palabras siguientes y el grande solo las comprueba. Aquí el resultado está garantizado idéntico al del modelo grande solo, de 2 a 3 veces más rápido. Ver la profundización sobre la verificación.
Fuente: Leviathan, Kalman & Matias, Speculative Decoding (ICML 2023)
El juez puede equivocarse: una respuesta errónea aceptada abajo de la escalera nunca se corrige. La espera: una pregunta que sube tres peldaños espera tres respuestas, y una cascada difícilmente puede mostrar su respuesta palabra a palabra mientras no sabe si la conservará. La deriva: un enrutador ajustado a un tipo de preguntas puede quedar mal calibrado cuando los usuarios empiezan a preguntar otras cosas.
Segundo factor de H6: la parte de las preguntas que llegan al modelo grande. Y un eco directo de H2, «aprender lo alto, consultar lo bajo»: una cascada es una jerarquía de modelos, donde el más caro solo se consulta cuando el más barato no basta.
H6 · Los ahorros se multiplican (40 %) H2 · Aprender lo de arriba, consultar lo de abajo (75 %)
Clasificar las preguntas que los lectores podrían hacer sobre OrigoTech en tres niveles (un dato en un artículo, un vínculo entre artículos, un razonamiento de verdad) y medir qué parte resuelve bien un modelo pequeño por sí solo. Por encima de la mitad, la ganancia sería real para un sitio como el nuestro.