Approfondissement · Folio IV
On n'appelle pas un chirurgien pour une écharde. Pourtant, beaucoup de services d'IA envoient chaque question, facile ou difficile, à leur plus gros modèle. Les cascades changent l'ordre : le modèle le moins cher essaie d'abord.
Les questions ne se valent pas. « Quelle est la capitale de l'Italie ? » ne demande pas le même modèle qu'une démonstration ardue. Une cascade range les modèles du moins cher au plus cher et s'arrête dès qu'une réponse suffit.
Un aiguilleur fait la même chose d'un coup : il lit la question et prédit, avant toute réponse, quel modèle suffira.
Tout repose sur le juge qui décide si une réponse est acceptable. Dans FrugalGPT (Stanford, 2023), c'est un petit modèle de notation entraîné à estimer si une réponse est juste ; la cascade apprend le meilleur ordre des modèles et un seuil pour chaque étape.
Le juge doit coûter bien moins que l'étape suivante, sinon on perd ce qu'on voulait gagner. Et chaque essai raté se paie : une question qui monte jusqu'en haut coûte plus cher que si elle y était allée directement.
Source : Chen, Zaharia & Zou, FrugalGPT (2023)
Fig. G — L'échelle des modèles
Questions :12345678
Coût moyen par question : 5,4 · tout au grand modèle : 20 · −73 %
Schéma illustratif : il montre l'idée, pas des mesures.
Prometteur
Sur ses tests, la cascade apprise égale GPT-4 pour un coût jusqu'à 98 % plus bas, ou dépasse GPT-4 de 4 points de précision pour le même prix. L'étude part d'un constat : les prix des différents modèles varient jusqu'à deux ordres de grandeur.
Prometteur
Un aiguilleur entraîné sur des préférences humaines (Chatbot Arena) choisit, pour chaque question, entre un modèle fort et un modèle faible. Sur MT Bench, il garde 95 % de la qualité de GPT-4 pour 3,66 fois moins cher, sans l'attente d'une cascade.
Source : Ong et al., RouteLLM (ICLR 2025)
Établi
La même idée à la plus petite échelle : un petit modèle propose les mots suivants et le grand ne fait que vérifier. Ici, le résultat est garanti identique à celui du grand modèle seul, 2 à 3 fois plus vite. Voir l'approfondissement sur la vérification.
Source : Leviathan, Kalman & Matias, Speculative Decoding (ICML 2023)
Le juge peut se tromper : une mauvaise réponse acceptée en bas de l'échelle n'est jamais corrigée. L'attente : une question qui monte trois barreaux attend trois réponses, et une cascade peut difficilement afficher sa réponse mot à mot tant qu'elle ne sait pas si elle la gardera. La dérive : un aiguilleur réglé sur un type de questions peut être mal calibré quand les utilisateurs se mettent à demander autre chose.
Deuxième facteur de H6 : la part des questions qui atteignent le grand modèle. Et un écho direct à H2, « apprendre le haut, consulter le bas » : une cascade est une hiérarchie de modèles, où le plus cher n'est consulté que quand le moins cher ne suffit pas.
H6 · Les gains se multiplient (40 %) H2 · Apprendre le haut, consulter le bas (75 %)
Classer les questions que les lecteurs pourraient poser sur OrigoTech en trois niveaux (un fait dans un article, un lien entre articles, un vrai raisonnement) et mesurer quelle part un petit modèle réussit seul. Au-delà de la moitié, le gain serait réel pour un site comme le nôtre.