Jusqu'ici, nous avons étudié chaque piste seule. Une IA de demain les utiliserait pourtant ensemble. Question simple, réponse moins simple : les économies s'additionnent-elles, ou se marchent-elles sur les pieds ?
Prometteurmise à jour du
I
L'idée, simplement
Imaginez l'atelier de Léonard. Pour livrer plus de tableaux sans s'épuiser, il peut confier d'abord le travail aux apprentis (le petit modèle d'abord), n'appeler que le spécialiste utile (les experts), utiliser des gabarits plutôt que tout peindre à la main (les programmes), broyer moins de pigment (moins de bits), changer d'outils (la machine), faire relire par le maître (la vérification) et garder ses modèles dans un carnet plutôt qu'en tête (la mémoire à part).
Chaque astuce attaque une partie différente du coût. C'est pourquoi on peut espérer qu'elles s'empilent. Mais elles se touchent aussi : un gabarit ne sert à rien si personne ne vérifie le résultat, et des apprentis nombreux prennent de la place dans l'atelier. La figure fait le tour des 21 paires.
Experts × moins de bits : gpt-oss stocke ses experts en 4 bits et tient sur une seule carte graphique.
Moins de bits × machine : NorthPole fait tourner un modèle de langage en 4 bits, poids gardés sur la puce.
Experts × machine : beaucoup d'experts, c'est beaucoup de poids à loger, et les puces à mémoire intégrée en ont peu.
Moins de bits × vérifier : les longs raisonnements accumulent les erreurs d'arrondi.
Schéma illustratif : il montre l'idée, pas des mesures.
Sept pistes donnent 21 paires. Chaque case dit si deux pistes s'aident (+), se gênent (−), font les deux (±) ou s'ignorent (·). C'est une lecture de l'auteur, appuyée sur les études citées dans le carnet : peu d'études ont testé deux pistes ensemble, et presque aucune n'a mesuré la part de chacune dans le mélange.II
Le trajet d'une question
Suivons une question à travers un système qui utiliserait les sept pistes. 1. Un aiguilleur la regarde. Si un programme sait déjà y répondre (un calcul, une conversion), on l'appelle : c'est presque gratuit.
2. Sinon, un petit modèle répond. Il est fait d'experts dont seuls quelques-uns s'allument, ses poids sont en 4 bits, et il tourne sur une puce qui garde ces poids près du calcul. 3. S'il a besoin d'un fait, il le cherche dans une mémoire au lieu de compter sur ses poids.
4. Sa réponse passe une vérification : des tests si c'est du code, sinon un modèle plus grand qui confirme plusieurs mots d'un coup. 5. Seulement si la vérification échoue, la question monte au grand modèle. À chaque étape, on ne paie le prix fort que quand c'est nécessaire.
III
Ce qui s'additionne
Quatre associations fonctionnent déjà dans des systèmes réels. Leur point commun : les deux pistes agissent sur des facteurs différents, si bien que l'une ne mange pas le gain de l'autre.
Établi
Experts + moins de bits : gpt-oss et Kimi K2 Thinking
Les experts réduisent la part du modèle qui calcule ; les 4 bits réduisent la taille de chaque poids. Les deux se cumulent : gpt-oss n'allume que 5,1 milliards de paramètres sur 117 et stocke ses experts en 4 bits, assez pour tenir sur un seul GPU de 80 Go. Kimi K2 Thinking fait de même à l'échelle de mille milliards de paramètres, et génère environ deux fois plus vite.
Une puce qui garde les poids sur place a peu de mémoire ; des poids en 4 bits y prennent quatre fois moins de place qu'en 16 bits. C'est ainsi qu'IBM a fait tourner un modèle de 3 milliards de paramètres sur 16 cartes NorthPole, à moins d'une milliseconde par mot. Sans la compression, le modèle n'aurait pas tenu sur les puces.
Programmes + vérification : AlphaEvolve et ShinkaEvolve
Un programme se vérifie facilement : on l'exécute et on mesure. C'est ce qui permet de laisser un modèle en proposer des milliers et de ne garder que les meilleurs. AlphaEvolve en a tiré une multiplication de matrices plus courte et 0,7 % de calcul récupéré chez Google ; ShinkaEvolve bat un record en 150 essais.
Petit modèle d'abord + vérification : le décodage spéculatif
La cascade la plus aboutie est aussi une vérification : un petit modèle propose plusieurs mots, le grand les contrôle en un seul passage. Le texte final est exactement celui du grand modèle, mais il sort 2 à 3 fois plus vite, et jusqu'à 6,5 fois avec EAGLE-3.
Trois frictions reviennent dans les études. Elles apparaissent quand deux pistes tirent sur la même ressource : la mémoire, la précision, ou la confiance qu'on peut accorder au juge.
Prometteur
Beaucoup d'experts contre peu de mémoire
Un modèle à experts n'en allume que quelques-uns, mais doit tous les garder à portée de main. Les puces rapides à mémoire intégrée en ont très peu : Taalas grave un modèle de 8 milliards de paramètres, pas un modèle de mille milliards. Les lois d'échelle conjointes nuancent le conflit sans le régler : le bon nombre d'experts dépend de la mémoire disponible.
Chaque mot écrit s'appuie sur les précédents, donc une petite erreur d'arrondi peut se propager. Les modèles qui raisonnent longuement y sont plus sensibles : Moonshot AI explique avoir dû apprendre les 4 bits pendant l'entraînement de Kimi K2 Thinking. Et les modèles très bien entraînés, ceux qu'on voudrait compresser, sont les plus fragiles.
Une cascade ne vaut que par son juge. Un aiguilleur peut être trompé exprès pour tout envoyer au modèle cher, et à règles égales beaucoup d'aiguilleurs battent à peine la stratégie la plus simple. Plus on empile d'étages, plus il faut de juges fiables, et chaque juge est une nouvelle porte d'entrée pour une attaque.
Sur le papier, c'est tentant : si chaque piste divisait le coût par 2, sept pistes le diviseraient par 2⁷ = 128. C'est l'esprit de notre hypothèse H6, que nous estimons à 35 %.
Mais une règle simple, la loi d'Amdahl, freine l'enthousiasme : accélérer une partie du travail n'aide que pour cette partie. Exemple purement illustratif : si le grand modèle représente la moitié du coût total et qu'on le rend dix fois moins cher, le coût total ne baisse pas de 90 % mais de 45 %. On passe de 100 à 50 + 5 = 55.
Les gains se multiplient donc quand les pistes visent des parties différentes du coût (les experts et les bits), et se recouvrent quand elles visent la même : une cascade qui évite le grand modèle rapporte moins si ce grand modèle est déjà devenu bon marché grâce aux experts. Notre lecture : combiner rapporte bien plus qu'une piste seule, mais nettement moins que le produit des gains pris un par un. Personne ne l'a encore mesuré proprement.
La matrice est une lecture, pas une mesure. Elle s'appuie sur des études qui, presque toutes, testent une piste à la fois. Les systèmes qui en combinent plusieurs, comme gpt-oss ou Kimi K2, ne publient pas ce que chaque piste apporte dans le mélange.
Elle laisse aussi de côté deux coûts bien réels : la complexité (chaque piste ajoutée est une pièce de plus qui peut casser) et le regroupement des requêtes. Un serveur est efficace quand il traite beaucoup de questions semblables en même temps ; chaque aiguillage, chaque profondeur variable casse un peu ces groupes.
VII
Comment la mettre à l'épreuve
Une expérience simple trancherait : prendre un modèle ouvert, puis ajouter les pistes une par une, dans plusieurs ordres, en mesurant à chaque fois le coût par bonne réponse sur le même banc d'essai.
Si les gains se multiplient, l'ordre ne compte pas et le dernier ajout rapporte autant que le premier. S'ils se recouvrent, chaque ajout rapporte moins que le précédent. Cette courbe dirait mieux que n'importe quel tableau par quelle piste commencer.