L'IA de demain Glossaire
FR

← Retour au carnet

Approfondissement · Folio V

Traduire un modèle et ne garder que le nécessaire ?

L'idée de départ : et si un traducteur réécrivait le modèle dans un langage neuf, pour un harnais neuf, en ne gardant que ce qui est nécessaire ? Elle mélange trois choses de difficulté très différente : traduire sans rien perdre, couper ce qui ne sert pas, et réécrire le réseau en vrai code. Voici ce que chacune peut donner, pourquoi la deuxième bute sur un phénomène appelé superposition, combien rapporterait un traducteur hybride, et ce qu'a donné l'expérience faite ici même.

Prometteur mise à jour du

I

L'idée, simplement

Pensez à un livre de cuisine de mille pages, écrit en latin. Vous ne voulez faire que des desserts. Un bon traducteur pourrait faire trois choses de plus en plus audacieuses. Un : traduire tout le livre en français, sans rien couper. Vous lisez plus vite, rien n'est perdu. Deux : ne traduire que le chapitre des desserts. Le livre devient mince, mais si un dessert renvoie à « la pâte brisée, voir page 212 », vous êtes coincé. Trois : remplacer les recettes qui suivent une règle par une formule (« 1 œuf pour 100 g de farine ») et garder le texte seulement pour les exceptions.

Pour un modèle d'IA, c'est pareil. Le « langage », c'est la forme dans laquelle le modèle est écrit ; le harnais, c'est le programme qui le fait tourner (comme llama.cpp sur un ordinateur ordinaire) ; le traducteur, c'est l'outil qui passe de l'un à l'autre en optimisant au passage.

II

Trois niveaux, du certain au rêve

Les trois niveaux n'ont rien à voir en difficulté. Le premier existe déjà partout, le deuxième marche à moitié, le troisième n'existe que sur des jouets.

Établi

Niveau 1 · Traduire sans rien perdre : la compilation

C'est ce que fait un compilateur : même calcul, exécuté plus efficacement. Fusionner des opérations, arrondir les poids sur moins de bits, adapter le calcul à la puce. On gagne couramment 1,5 à 3 fois, sans changer les réponses (ou presque, avec la basse précision). Certaines puces accélèrent même les poids nuls s'ils suivent un motif régulier : deux zéros sur quatre, pour un calcul jusqu'à deux fois plus rapide.

Source : Mishra et al., Accelerating Sparse Deep Neural Networks (NVIDIA, 2021)

Établi

Niveau 2 · Ne garder que le nécessaire : l'élagage

SparseGPT met à zéro la moitié des poids des plus grands modèles ouverts en une seule passe, avec une perte de qualité presque invisible. Wanda fait aussi bien avec une règle encore plus simple : un poids est important s'il est grand et s'il reçoit des signaux forts. Ces méthodes visent un modèle général. Pour une tâche étroite, on espère couper bien davantage. C'est là que commence la difficulté.

Source : Frantar & Alistarh, SparseGPT: Massive Language Models Can Be Accurately Pruned in One-Shot (ICML 2023), Sun et al., A Simple and Effective Pruning Approach for Large Language Models (Wanda, ICLR 2024)

Spéculatif

Niveau 3 · Réécrire le réseau en vrai code : la décompilation

Le sens inverse marche déjà : Tracr, chez DeepMind, compile un petit programme en poids de transformer. Et l'on sait entraîner de petits transformers pour qu'ils se laissent reconvertir en programme Python lisible. Mais lire un modèle de 8 milliards de paramètres et en sortir du code, personne n'y arrive. La raison a un nom.

Source : Lindner et al., Tracr: Compiled Transformers as a Laboratory for Interpretability (NeurIPS 2023), Friedman et al., Learning Transformer Programs (NeurIPS 2023)

III

L'obstacle : la superposition

On imagine un réseau comme une commode : un tiroir pour la chimie, un tiroir pour la grammaire, un tiroir pour l'addition. Il suffirait de garder les bons tiroirs. Ce n'est pas comme cela que ça marche.

Un réseau a moins de neurones que de notions à représenter. Il les superpose : chaque neurone participe à des dizaines de notions à la fois, chaque notion est étalée sur des dizaines de neurones, comme des voix mêlées dans une chorale. Elhage et ses coauteurs, chez Anthropic, l'ont montré sur des modèles-jouets : dès que les notions sont rares, le réseau en range bien plus qu'il n'a de dimensions.

Conséquence directe pour notre traducteur : un poids « inutile » pour la tâche visée peut porter un bout d'une autre compétence dont elle dépend sans le montrer. Et l'on ne sait jamais d'avance quelle question l'utilisateur posera demain. Couper selon la tâche est donc un pari : on gagne gros si les questions restent dans le couloir prévu, on perd si elles en sortent.

Source : Elhage et al., Toy Models of Superposition (Anthropic, 2022)

IV

La solution réaliste : un traducteur hybride

Plutôt que de choisir entre tout garder et tout couper, le traducteur ferait trois tas. Ce qui suit une règle (calcul, dates, formats, conversions) devient du code : exact, presque gratuit, et valable même au-delà des exemples vus. Ce qui est flou (le langage, les nuances, le bon sens) reste en réseau, dans un spécialiste élagué pour la tâche. Ce qui sort du couloir est renvoyé au modèle complet : c'est la sortie de secours.

C'est la rencontre de deux idées du carnet : H3, « règles + exceptions = compression » là où l'on peut vérifier, et la cascade, où un petit modèle passe la main quand il doute. Le traducteur n'est pas une nouvelle piste : c'est l'outil qui les assemble.

V

Le calcul : quand le traducteur vaut-il le coup ?

Posons trois nombres. p, la part des questions qu'on sait envoyer vers du code : disons 20 %. s, le coût du spécialiste élagué, en fraction du modèle complet. f, le taux de rappel : la part des questions où le spécialiste doute et rappelle le modèle complet. Quand il rappelle, on paie les deux.

Le coût moyen d'une question vaut alors (1 − p) × (s + f). Avec un spécialiste à 50 % et 10 % de rappels : 0,8 × (0,5 + 0,1) = 0,48, le coût est divisé par 2,1. Ajoutons le niveau 1, une compilation qui gagne 1,5 fois : 0,48 ÷ 1,5 = 0,32, soit un tiers du coût de départ.

Où est la limite ? Le gain disparaît quand (1 − p) × (s + f) atteint 1. Avec s = 0,5, il faut f = 1 ÷ 0,8 − 0,5 = 75 % de rappels pour tout perdre : le système est robuste. Mais pour diviser par 2, il faut f ≤ 0,5 ÷ 0,8 − 0,5 = 12,5 %. Avec un spécialiste à 30 %, la marge monte à 32,5 % ; avec un spécialiste à 70 %, diviser par 2 devient impossible. Retenez la leçon de la figure : ce qui compte le plus, ce n'est pas la taille du spécialiste, c'est qu'il sache reconnaître ce qu'il ne sait pas.

Fig. P — Ce que coûte un traducteur hybride

Spécialiste à 30 % du coût : ÷ 2 tant que le rappel reste sous 32,5 %Spécialiste à 50 % du coût : ÷ 2 tant que le rappel reste sous 12,5 %Spécialiste à 70 % du coût : jamais divisé par 2

Schéma illustratif : il montre l'idée, pas des mesures.

Un calcul, pas une mesure. 20 % des questions partent vers du code, qui ne coûte presque rien. Les 80 % restantes vont à un spécialiste élagué ; quand il doute, il rappelle le modèle complet et l'on paie les deux. Coût = 0,8 × (coût du spécialiste + taux de rappel). Le spécialiste n'a pas besoin d'être parfait : il doit surtout savoir quand il ne sait pas.
VI

H10, née déjà découpée en maillons

Comme promis sur la page « Les hypothèses à l'épreuve », toute nouvelle hypothèse arrive coupée en maillons. Voici H10 : un traducteur peut réécrire un modèle pour un harnais neuf et le tailler pour une tâche, en divisant le coût au moins par 2 sans perte visible sur cette tâche.

Maillon a, 95 % : la traduction sans perte et la compilation fonctionnent ; c'est le cas aujourd'hui. Maillon b, 65 % : sachant cela, la coupe selon la tâche, avec une sortie de secours, divise le coût au moins par 2 sans perte visible. Ce maillon dépend de la superposition et du taux de rappel. Calcul : 0,95 × 0,65 = 62 %.

La forme ambitieuse ajoute un maillon c, 20 % : une part importante d'un grand modèle se laisse réécrire en vrai code. Elle ne vaudrait que 0,95 × 0,65 × 0,2 ≈ 12 %. Nous la gardons comme question, pas comme hypothèse.

VII

L'expérience, faite ici, et nos prédictions

Nous n'avons pas de carte graphique, seulement deux cœurs de processeur. Nous avons donc fait l'expérience en miniature, mais pour de vrai : un petit transformer de 0,8 million de paramètres, entraîné ici sur deux tâches mêlées. A, une règle : des additions à deux chiffres, dont 20 % gardées pour le test. B, un lexique avec exceptions : les pluriels de 600 mots inventés, 80 % réguliers (+ s), 20 % irréguliers à retenir par cœur, plus 150 mots nouveaux jamais vus.

Puis les trois niveaux. Niveau 1 : un harnais écrit à part, en NumPy, relit les poids, en 32 puis en 8 bits. Niveau 2 : élagage Wanda calibré sur la seule tâche A, de 25 à 90 % des poids, puis retrait de neurones entiers. Niveau 3 : on cherche, d'après le comportement du modèle, le programme simple qui reproduit chaque tâche ; ce que le programme n'explique pas devient une table d'exceptions.

Nos prédictions ont été enregistrées dans le dépôt avant la première exécution, pour qu'on puisse nous donner tort. Les principales : le harnais NumPy donne au moins 99,9 % de réponses identiques ; à 50 % d'élagage, l'addition garde au moins 95 % de sa précision ; au-delà de 70 %, le lexique souffre plus que l'addition ; le programme « a + b » reproduit au moins 99 % des réponses du modèle ; la règle « + s » en reproduit 80 % ± 5 ; et sur des additions à trois chiffres, jamais vues, le modèle échoue presque toujours quand le code réussit tout.

VIII

Les résultats : sept prédictions sur huit

Le modèle (805 929 paramètres) a appris en 20 minutes sur deux cœurs. Au départ : 100 % sur les additions jamais vues, 100 % sur les 600 mots appris, mais seulement 83,3 % sur les 150 mots nouveaux, alors qu'il suffisait d'ajouter un « s » : le réseau a retenu la règle, mais pas parfaitement. Et 0 % sur les additions à trois chiffres : il n'a pas compris l'addition en général, seulement celle qu'il a vue.

Établi

Niveau 1 · Traduire : tenu, mais pas plus rapide

Le harnais NumPy, écrit à part, donne 100 % de réponses identiques. En 8 bits, 99,96 % des réponses restent identiques et la précision ne bouge pas d'un dixième de point, pour une taille divisée par 3,7 (3,2 Mo → 0,87 Mo). Mais notre harnais, simple et sans optimisation, est 7,7 fois plus lent que PyTorch : traduire ne rend pas rapide par magie, c'est le travail du compilateur qui fait le gain.

Prometteur

Niveau 2 · Élaguer : une prédiction ratée, une leçon nette

Avec 50 % des poids retirés d'après l'addition, celle-ci garde 93,5 % : nous avions prédit au moins 95 %, c'est raté, de peu. À 60 %, l'addition tombe à 71,9 % et le lexique à 45,2 % ; à 70 %, 18,2 % contre 3,0 % : ce qui semblait inutile à l'addition portait le lexique, comme prévu. En calibrant sur le lexique, c'est l'inverse : à 70 %, il garde 39,5 % quand l'addition tombe à 5,5 %. Retirer la moitié des neurones des couches MLP choisis d'après l'addition lui laisse 95,9 % et fait perdre 22 points au lexique.

Prometteur

Niveau 3 · Décompiler : la surprise

Le programme « a + b » reproduit 99,99 % des 10 000 réponses du modèle (une seule différence). La règle « + s » en reproduit 80,17 %, et la table d'exceptions compte 119 mots : 119 des 120 irréguliers, le dernier tombant par hasard sur un « s ». Le modèle hybride fait 100 % partout, y compris là où le réseau échouait : 100 % sur les mots nouveaux (contre 83,3 %) et 100 % sur les additions à trois chiffres (contre 0 %). Pour ces deux tâches, deux lignes de code et une table de 1 071 octets remplacent un modèle de 3,2 Mo.

IX

Ce que l'expérience change

Sept prédictions sur huit tiennent ; celle qui tombe portait sur l'élagage, à 1,5 point près. Le doute a changé de place. L'élagage seul déçoit : même dans un modèle minuscule aux tâches bien séparées, retirer la moitié des poids coûte déjà quelques points, et l'avantage du spécialiste n'apparaît qu'à des taux où la tâche visée s'effondre elle aussi. C'est la superposition, mesurée.

À l'inverse, l'extraction de règles surprend : le code ne se contente pas d'imiter le réseau, il le dépasse là où le réseau généralisait mal. Un réseau apprend une règle à peu près ; une fois écrite, la règle vaut partout. C'est l'argument le plus fort pour le traducteur hybride.

Faut-il bouger H10 ? Selon nos propres règles, un chiffre ne change que si un maillon change. Or un modèle-jouet de 0,8 million de paramètres ne dit presque rien d'un modèle de 8 milliards : nous laissons H10 à 62 %, en notant le sens des indices. Dans le maillon b, la route « couper » pèse moins et la route « changer en code » pèse plus. La prochaine étape serait la même expérience sur un vrai petit modèle de langage, avec des questions mêlées.

X

Deuxième manche : un vrai petit modèle de langage

Le jouet ne suffisait pas. Nous avons refait l'expérience sur SmolLM2-135M, un vrai modèle de langage de 135 millions de paramètres, sur un ordinateur personnel, qui pouvait le télécharger. Trois domaines : du code Python, de la prose (WikiText-2) et 200 additions à deux chiffres posées après trois exemples. Sept prédictions, enregistrées dans le dépôt avant le lancement. Le calcul a pris six minutes.

Au départ, le modèle prédit bien le code (perplexité 5,1 : il hésite en moyenne entre cinq mots), moins bien la prose (20,5), et ne réussit que 14 % des additions. Le code, lui, en réussit 100 %.

Source : Frantar & Alistarh, SparseGPT: Massive Language Models Can Be Accurately Pruned in One-Shot (ICML 2023), Sun et al., A Simple and Effective Pruning Approach for Large Language Models (Wanda, ICLR 2024)

Établi

Traduire en 8 bits : presque sans perte, une prédiction ratée quand même

La perplexité bouge de 0,4 % sur le code et de 0,5 % sur la prose ; la taille passe de 538 à 220 Mo (÷ 2,45, les mots du vocabulaire restant en 32 bits). Mais seules 85,5 % des réponses aux additions restent identiques : nous avions prédit au moins 95 %. Sur des questions où le modèle hésite, un arrondi minuscule suffit à faire basculer la réponse.

Prometteur

Élaguer : le spécialiste existe, mais il coûte cher

À 50 % d'après le code, la perplexité du code augmente de 56 % (prédit : au moins 20 %) et celle de la prose est multipliée par 2,6 ; l'addition tombe à 0 %. Calibrer sur un domaine protège bien ce domaine : le code s'en sort mieux élagué d'après le code (7,9) que d'après la prose (10,3), et la prose mieux d'après la prose (44) que d'après le code (52). Mais notre prédiction « calibré sur la prose, c'est le code qui souffre le plus » échoue à 50 et 60 % : la prose est un domaine si large qu'un spécialiste de la prose reste un généraliste.

Prometteur

Savoir quand on ne sait pas : le signal existe, la marge non

Pour ramener le spécialiste élagué à 50 % à 5 % près de la perte du modèle complet sur le code, il faut rappeler le modèle complet pour 76,6 % des extraits en se fiant au doute du spécialiste, contre 83,3 % au hasard et 73,4 % avec une boussole parfaite. Le doute est donc un bon guide, presque aussi bon que la boussole parfaite. Mais il faut quand même rappeler trois fois sur quatre : nous avions prédit 60 % au plus.

XI

Ce que change la deuxième manche

Quatre prédictions sur sept tiennent. Les trois qui tombent racontent la même histoire : un petit modèle n'a pas de réserve. Arrondir le fait hésiter, l'élaguer l'abîme partout, et même un spécialiste qui sait quand il doute doit passer la main presque tout le temps.

Reprenons la Fig. P avec les vrais nombres. Un spécialiste à 50 % du coût qui rappelle le modèle complet 77 % du temps coûte 0,8 × (0,5 + 0,77) ≈ 1,01 : plus cher que de ne rien faire. À cette taille, la route « couper » ne rapporte rien. La route « changer en code », elle, tient : 14 % → 100 % sur l'addition.

Cette fois, un maillon bouge, comme nos règles l'exigent : le maillon b passe de 65 % à 55 %, et H10 de 62 % à 0,95 × 0,55 ≈ 52 %. Nous ne le baissons pas davantage, car les grands modèles s'élaguent bien mieux que les petits : c'est ce que montrent SparseGPT et Wanda. La question décisive devient donc : à partir de quelle taille un spécialiste élagué rapporte-t-il plus qu'il ne coûte ? Ce sera la troisième manche.

XII

Troisième manche : et si le modèle était plus grand ?

La deuxième manche laissait une question : le spécialiste élagué est-il condamné, ou seulement trop petit ? Nous avons pris trois modèles de la même famille, SmolLM2 de 135 millions, 360 millions et 1,7 milliard de paramètres, et le même protocole pour les trois : code, prose, additions, élagage à 25 et 50 %, mesure du doute. Sept prédictions, enregistrées avant le lancement. Le tout a pris un quart d'heure sur la puce graphique d'un Mac. Le modèle de 135 millions, remesuré, redonne presque le même chiffre qu'à la manche précédente (77,1 % de rappels contre 76,6 %) : la mesure est reproductible.

Au départ, la taille change tout pour l'addition : 14 %, puis 87,5 %, puis 95 % de réussite. Le code en fait toujours 100 %. En 8 bits, les réponses restent identiques à 85,5 %, 98 % et 99 % : plus le modèle est grand, moins l'arrondi le fait hésiter.

Source : Frantar & Alistarh, SparseGPT: Massive Language Models Can Be Accurately Pruned in One-Shot (ICML 2023), Sun et al., A Simple and Effective Pruning Approach for Large Language Models (Wanda, ICLR 2024), Mishra et al., Accelerating Sparse Deep Neural Networks (NVIDIA, 2021)

Établi

Élaguer à 50 % : les grands modèles encaissent mieux

Calibré sur le code, l'élagage multiplie la perplexité du code par 1,53, puis 1,29, puis 1,22 : la baisse avec la taille est nette, comme prévu. Le modèle de 1,7 milliard garde même 85,5 % de réussite aux additions avec la moitié de ses poids, là où le petit tombait à 0 %.

Prometteur

Le doute : le taux de rappel baisse, mais pas assez vite

Pour rester à 5 % du modèle complet sur le code, le spécialiste élagué à 50 % doit rappeler le modèle complet pour 77,1 %, puis 68,8 %, puis 62,5 % des extraits. Au hasard, il en faudrait 82,6, 75,1 et 72,5 % : le doute reste un bon guide à chaque taille. Nous avions prédit au plus 60 % pour 1,7 milliard : raté de 2,5 points. Le coût idéal passe de 1,02 à 0,95 puis 0,90 : sous 1, donc rentable, mais de peu.

Prometteur

Élaguer à 25 % : presque gratuit, à toutes les tailles

La vraie surprise vient du taux le plus doux. À 25 %, le spécialiste reste à moins de 5 % du modèle complet sur le code sans aucun rappel, aux trois tailles. Coût idéal : 0,8 × (0,75 + 0) = 0,6, soit un coût divisé par 1,67. Le code ne perd que 2 à 3 % de perplexité, la prose 6 à 8 % : le couloir de la tâche est protégé, le reste un peu moins.

XIII

Ce que change la troisième manche

Six prédictions sur sept tiennent ; celle qui tombe portait sur le taux de rappel du plus grand modèle, à 2,5 points près. Une seule nuance : notre prédiction « le doute fait mieux que le hasard à chaque taux » ne se pose pas à 25 %, puisqu'aucun rappel n'y est nécessaire.

Prolongeons la tendance, avec prudence : trois points seulement. Le taux de rappel à 50 % baisse d'environ 13 points chaque fois que le modèle grandit de 10 fois. Pour un modèle de 8 milliards, cela donnerait environ 53 % de rappels et un coût idéal de 0,83. Pour descendre à 12,5 %, le seuil qui diviserait le coût par 2, il faudrait un modèle de l'ordre de 10 000 milliards de paramètres. Conclusion : à 50 %, l'élagage seul ne divisera jamais le coût par 2 dans notre tolérance de 5 %.

La bonne route se dessine autrement : élaguer doucement (25 %, sans rappel, coût 0,6), compiler (× 1,5 : 0,6 ÷ 1,5 = 0,4) et passer en code ce qui suit une règle. Sur le papier, cela divise le coût par 2,5. Une réserve de taille : le seul motif d'élagage que les puces actuelles accélèrent vraiment, deux zéros sur quatre, correspond justement à 50 %, le taux qui coûte cher. L'élagage à 25 % ne rapporte que si la puce sait en profiter.

Le maillon b remonte donc de 55 % à 60 %, et H10 de 52 % à 0,95 × 0,60 = 57 %. La prochaine question n'est plus « à partir de quelle taille ? », mais « sur quelle puce un élagage à 25 % devient-il réellement plus rapide ? ».

XIV

Quatrième manche : couper des neurones entiers, chronomètre en main

Le coût de 0,6 de la troisième manche était « idéal » : il supposait que la puce profite des poids mis à zéro. Or des zéros éparpillés dans une matrice de même taille se calculent comme les autres. Cette fois, nous avons retiré des neurones entiers des blocs MLP de chaque modèle, 12,5 %, 25 % ou 50 % d'entre eux : les matrices rapetissent vraiment, sur n'importe quelle puce. Et nous avons chronométré le résultat sur la puce graphique d'un Mac, au lieu de le calculer. Neuf prédictions, enregistrées avant le lancement.

Le témoin confirme le point de départ : avec 25 % de zéros éparpillés, le modèle met exactement le même temps que le modèle complet, à 0,4 % près, aux trois tailles. Les zéros ne font rien gagner sur cette puce.

Source : Ma et al., LLM-Pruner: On the Structural Pruning of Large Language Models (NeurIPS 2023), Xia et al., Sheared LLaMA: Accelerating Language Model Pre-training via Structured Pruning (ICLR 2024)

Établi

Le temps gagné suit presque exactement les poids retirés

Retirer des neurones entiers accélère pour de bon. Pour le modèle de 1,7 milliard, le temps de lecture tombe à 0,91, 0,84 puis 0,69 fois celui du modèle complet, quand on retire 12,5, 25 puis 50 % des neurones MLP. Le modèle garde alors 91, 82 et 65 % de ses poids : le temps suit presque exactement la taille. Les petits modèles gagnent un peu moins, car leurs blocs MLP pèsent moins lourd dans le total. La génération mot à mot gagne autant que la lecture.

Établi

Mais la coupe franche abîme davantage

À 25 %, la perplexité du code est multipliée par 1,16, 1,12 puis 1,10 (contre 1,02 à 1,03 avec les zéros éparpillés), et la prose par plus de 2. Il faut alors rappeler le modèle complet pour 35, 33 puis 29 % des extraits de code (au hasard : 46, 44 et 42 %). Une fois ces rappels comptés, le coût mesuré vaut 1,25, 1,20 puis 1,13 : plus cher que de ne rien couper. À 50 %, c'est pire encore : environ 80 % de rappels et un coût proche de 1,5.

Prometteur

À 12,5 % : le premier gain de temps réel, sans aucun rappel

En coupant doucement, le spécialiste reste à moins de 5 % du modèle complet sur le code sans aucun rappel, aux trois tailles. Le gain est modeste mais mesuré : 5 %, 6 % puis 9 % de temps en moins (coût 0,95, 0,94 puis 0,91). Le modèle de 1,7 milliard réussit même 98 % des additions, contre 95 % pour le modèle complet. La prose, elle, perd déjà beaucoup (perplexité × 1,4 à 1,5) : la coupe a bien suivi le couloir du code. Calibrer sur la prose aurait été une erreur : à 25 %, la perplexité du code serait multipliée par plus de 2 au lieu de 1,1.

XV

Ce que change la quatrième manche

Sept prédictions sur neuf tiennent. La première qui tombe est la plus intéressante : nous avions parié qu'aucune coupe ne ferait gagner de temps réel une fois les rappels comptés. C'est faux : à 12,5 %, le spécialiste est plus rapide et n'a besoin d'aucun rappel. L'autre se joue à un millième : à 25 %, la perplexité du code du plus grand modèle est multipliée par 1,099, et nous avions prédit plus de 1,10. Une troisième tient de justesse et sans la raison prévue : nous pensions que la génération gagnerait moins que la lecture pour le petit modèle ; les deux gagnent autant.

La leçon tient en une règle simple : sur cette puce, le temps gagné égale à peu près la part des poids retirés. Diviser le coût par 2 demanderait donc de retirer la moitié du modèle sans presque jamais rappeler le modèle complet. Sans réentraînement, nous en sommes loin : à 50 %, il faut rappeler huit extraits sur dix.

La piste suivante est connue : après une coupe, un court réentraînement répare une bonne part des dégâts. LLM-Pruner le fait en quelques heures avec une méthode légère ; Sheared-LLaMA construit ainsi de bons petits modèles pour une fraction du coût d'un entraînement complet. Si ce réentraînement ramène les rappels à 25 % de coupe vers zéro, le gain mesuré passerait de 9 % à environ 16 %.

Notre règle, écrite d'avance, disait : un coût mesuré sous 0,9 ferait monter le maillon b ; S9 juste le ferait baisser. Le meilleur coût vaut 0,91 et S9 tombe : le maillon b reste à 60 %, H10 à 57 %. Mais le coût n'est plus seulement calculé : pour la première fois, il est chronométré.

XVI

Cinquième manche : couper, puis réparer

À la quatrième manche, retirer 25 % des neurones MLP faisait gagner 10 à 16 % de temps réel, mais le spécialiste devait rappeler le modèle complet pour un tiers des extraits : le gain disparaissait. Cette fois, après la coupe, le spécialiste suit une courte séance de rattrapage. Le modèle complet joue le professeur ; le modèle coupé, l'élève, apprend à donner les mêmes probabilités que lui sur du code. C'est la distillation. Le code d'entraînement vient d'autres fichiers que ceux de l'évaluation, pour qu'il ne puisse pas apprendre les réponses par cœur.

Deux façons de réparer ont été essayées. La première réentraîne directement les poids des blocs MLP coupés. La seconde, LoRA, fige ces poids et n'entraîne que de petites matrices ajoutées à côté, comme des post-it dans les marges d'un manuel, puis les fusionne : c'est ce qui fait tenir le modèle de 1,7 milliard et son professeur dans les 24 Go d'un Mac. Onze prédictions, enregistrées avant le lancement. Le tout a pris environ une heure et demie.

Source : Hinton, Vinyals & Dean, Distilling the Knowledge in a Neural Network (2015), Hu et al., LoRA: Low-Rank Adaptation of Large Language Models (ICLR 2022), Ma et al., LLM-Pruner: On the Structural Pruning of Large Language Models (NeurIPS 2023)

Établi

La réparation divise les rappels, sans les faire disparaître

À 25 % de coupe, avant réparation, il faut rappeler le modèle complet pour 35 %, 33 % et 29 % des extraits de code (135M, 360M, 1,7B) : la quatrième manche est reproduite au chiffre près. Après réparation, il n'en faut plus que 6 % pour 135M et 15 % pour 360M, réparés directement, et 23 % pour 1,7B, réparé avec LoRA. Le coût mesuré, rappels compris, tombe à 0,93, 1,03 et 1,06. Le petit modèle devient rentable : 7 % de temps gagné. Les deux autres frôlent 1 sans passer dessous. À 50 % de coupe, la réparation ne suffit pas : il reste deux tiers de rappels.

Prometteur

Réentraîner les poids répare mieux que LoRA

Sur le même modèle de 135 millions, à nombre de pas égal, la réparation directe laisse 6 % de rappels et LoRA 15 %. Les « post-it » de LoRA ne représentent que 2,5 millions de nombres réglables, contre des dizaines de millions pour la réparation directe : ils corrigent moins. Le 1,7 milliard n'a eu droit qu'à LoRA, pendant moitié moins de pas, faute de mémoire et de temps : son résultat (23 %) est donc un plancher, pas un plafond. Sa réparation a pris 19 minutes.

Prometteur

Surprise : la prose s'améliore aussi

Nous avions prédit que réentraîner sur du code abîmerait encore la prose. C'est l'inverse, aux trois tailles : la perplexité de la prose baisse un peu après la réparation (par exemple × 2,59 → × 2,38 pour 135M). L'explication tient à la distillation : l'élève n'apprend pas seulement la bonne réponse sur du code, il apprend toute la distribution de probabilités du professeur, c'est-à-dire une part de sa façon générale de prédire la suite d'un texte.

XVII

Ce que change la cinquième manche

Six prédictions sur onze tiennent : notre manche la plus ratée. Nous avions parié que la réparation ramènerait les rappels sous 10 % et ferait gagner au moins 10 % de temps réel ; elle s'arrête à mi-chemin. La direction est la bonne, mais l'effet est plus faible que ce que nous imaginions.

Le meilleur résultat vient du plus petit modèle : coupé à 25 % puis réparé, il coûte 0,93, mieux que la coupe douce de 12,5 % sans réparation (0,95). Pour la première fois, une coupe franche suivie d'une réparation fait gagner du temps réel, rappels compris. Le gain reste modeste, et il faut payer une fois la séance de rattrapage : quelques minutes pour un petit modèle, une vingtaine pour le 1,7 milliard.

La règle écrite d'avance disait : un coût sous 0,9 ferait monter le maillon b ; plus de 20 % de rappels après réparation à toutes les tailles le ferait baisser. Aucun des deux n'arrive : le maillon b reste à 60 %, H10 à 57 %. La prochaine question est claire : avec une réparation plus longue, ou un réentraînement direct sur le 1,7 milliard, les rappels descendent-ils sous 10 % ? Elle demandera une machine plus grosse qu'un Mac.

XVIII

Sixième manche : réparer plus longtemps

Quand la réparation de la cinquième manche s'est arrêtée, les rappels baissaient encore. Manquait-il seulement du temps ? Nous avons repris la même coupe de 25 % et réparé plus longtemps, avec un contrôle en chemin : après 300, 600 et 1 200 pas pour le modèle de 360 millions (réentraînement direct), après 150, 300 et 600 pas pour celui de 1,7 milliard (LoRA). Le taux d'apprentissage reste constant après une courte montée, pour que les contrôles d'un même essai se comparent. Sept prédictions, enregistrées avant le lancement. Le tout a pris deux heures et demie sur un Mac.

Source : Hinton, Vinyals & Dean, Distilling the Knowledge in a Neural Network (2015), Hu et al., LoRA: Low-Rank Adaptation of Large Language Models (ICLR 2022)

Établi

360 millions : plus aucun rappel après 1 200 pas

Les rappels passent de 33 % avant réparation à 10 % après 300 pas, 4 % après 600 pas, puis 0 % après 1 200 pas : sur chacun des 48 extraits de code, le spécialiste coupé reste à moins de 5 % du modèle complet. Sa perplexité sur le code n'est plus multipliée que par 1,07 (contre 1,12 avant réparation), la prose continue de s'améliorer (× 2,44 → × 2,14) et les additions remontent un peu (55 → 60 %). Pendant ce temps, l'élève a vu le code d'entraînement à peine plus d'une fois : il n'a pas eu le temps d'apprendre par cœur.

Prometteur

1,7 milliard avec LoRA : la baisse ralentit

Les rappels passent de 29 % à 23 %, 21 % puis 19 % après 150, 300 et 600 pas : chaque doublement de la durée ne gagne plus que 2 points environ. LoRA corrige moins que le réentraînement direct, comme à la cinquième manche ; ses petites matrices semblent plafonner. Le coût mesuré descend à 1,05, sans passer sous 1. Le 1,7 milliard aurait besoin d'un réentraînement direct, trop lourd pour la mémoire d'un Mac.

Spéculatif

Un chronomètre moins fiable cette fois

Sans rappel, le coût du spécialiste se réduit à sa vitesse. Cette fois, nous mesurons 0,97 pour le 360 millions. Mais pendant ce long essai, le modèle complet lui-même a accéléré de 10 % entre le début et la fin (0,68 → 0,61 seconde par lot), alors que cet écart restait sous 1 % aux manches 4 et 5. Ces deux manches donnaient au même modèle coupé une vitesse de 0,87 à 0,88. Notre règle, écrite d'avance, retient la valeur mesurée dans l'essai : nous la gardons. Le vrai coût est sans doute plus proche de 0,88 : la manche suivante rechronomètre le même modèle.

XIX

Ce que change la sixième manche

Cinq prédictions sur sept tiennent. Les deux qui tombent portent sur le coût du 360 millions (0,97 mesuré, pour moins de 0,95 prédit) et sur le 1,7 milliard (19 % de rappels, pour 15 % au plus).

La leçon principale : pour le 360 millions, il ne manquait que du temps. Une coupe de 25 % suivie d'une heure de réparation donne un spécialiste qui n'a plus jamais besoin d'appeler le modèle complet sur le code. La question des rappels est réglée pour ce modèle ; il ne reste que la vitesse de la coupe, que les manches 4 et 5 mesuraient à 12 ou 13 % de temps gagné.

La règle écrite d'avance : un coût mesuré sous 0,9 ferait monter le maillon b ; plus de 20 % de rappels aux deux tailles le ferait baisser. Ni l'un ni l'autre : le maillon b reste à 60 %, H10 à 57 %. Le doute restant ne porte plus sur les rappels mais sur le chronomètre.

XX

Septième manche : un professeur, deux élèves

À la cinquième manche, la réparation par distillation avait aussi amélioré la prose, alors qu'elle ne portait que sur du code. Notre explication : l'élève n'apprend pas seulement la bonne réponse, il apprend toutes les hésitations du professeur. Pour la mettre à l'épreuve, une idée venue d'une discussion : prendre deux élèves identiques, le même modèle coupé de 25 % deux fois, et les confier au même professeur, sur les mêmes textes, dans le même ordre, pendant le même temps.

Une seule chose change, la façon d'enseigner. L'élève « nuances » apprend toute la distribution de probabilités du professeur : « return à 70 %, yield à 20 %… ». L'élève « réponses » n'apprend que le mot préféré du professeur, comme s'il ne recevait que le corrigé. Deux tailles (135 et 360 millions), six prédictions enregistrées avant le lancement, un peu moins d'une heure sur un Mac.

Source : Hinton, Vinyals & Dean, Distilling the Knowledge in a Neural Network (2015)

Établi

L'élève « nuances » refait la cinquième manche au chiffre près

Il reprend exactement le réglage de la cinquième manche, et il en redonne exactement les rappels : 6,2 % pour 135M et 14,6 % pour 360M. La mesure se reproduit d'un jour à l'autre. Sa prose s'améliore comme alors (× 2,59 → × 2,38 pour 135M ; × 2,44 → × 2,29 pour 360M).

Établi

L'élève « réponses » finit pire qu'avant le cours

Ce n'est pas seulement qu'il progresse moins : il régresse. Ses rappels passent de 35 % à 73 % (135M) et de 33 % à 77 % (360M), sa perplexité sur le code est multipliée par 1,5 à 1,6, contre 1,12 à 1,16 avant le cours, et sa prose se dégrade aussi. Il a pourtant bien appris ce qu'on lui demandait : il retrouve de plus en plus souvent le mot préféré du professeur. Mais l'écart avec les probabilités du professeur s'est creusé pendant le cours, au lieu de se réduire.

Prometteur

Pourquoi : il apprend à être sûr de lui

Quand le professeur hésite entre deux mots, l'élève « réponses » apprend à mettre tout son poids sur le premier. Il devient trop sûr de lui. Sur un vrai texte, chaque fois que le second mot était le bon, il est lourdement pénalisé. L'élève « nuances » apprend au contraire à hésiter là où le professeur hésite. C'est la « connaissance cachée » que décrivaient Hinton et ses collègues en 2015 : les mauvaises réponses jugées plausibles par le professeur enseignent presque autant que la bonne.

XXI

Ce que change la septième manche

Six prédictions sur six tiennent : une première dans ce carnet. Notre explication de la cinquième manche passe l'épreuve, et plus nettement que prévu. Recopier les nuances du professeur est ce qui répare ; ne recopier que ses réponses abîme.

Une bonne nouvelle pour le chronomètre : cette fois, il a été stable (le modèle complet met le même temps au début et à la fin, à 1 % près). Le modèle de 360 millions coupé de 25 % tourne à 0,87 du temps du modèle complet, comme aux manches 4 et 5. Le spécialiste réparé 1 200 pas de la sixième manche, qui n'avait plus besoin d'aucun rappel, coûterait donc environ 0,87.

Ce chiffre passerait sous le seuil de 0,9 qui ferait monter le maillon b. Mais il assemble deux manches, et notre règle porte sur une mesure faite dans un même essai. Le maillon b reste donc à 60 %, H10 à 57 %, en attendant un essai de confirmation : la réparation de 1 200 pas et le chronomètre stable, ensemble, avec la prédiction écrite d'avance.

XXII

Huitième manche : l'essai de confirmation

Les manches 6 et 7, mises ensemble, suggéraient un spécialiste qui ne rappelle jamais le modèle complet et tourne à 0,87 de son temps. Mais notre règle demande que tout soit mesuré dans un même essai. Nous avons donc refait la réparation de 1 200 pas du modèle de 360 millions coupé de 25 %, puis chronométré en alternant : modèle complet, spécialiste, complet, spécialiste… sept mesures en tout. Si la machine accélère ou ralentit en route, les deux modèles en sont touchés pareil. Cinq prédictions, enregistrées avant le lancement.

Établi

Zéro rappel, de nouveau

Après 600 pas, il faut rappeler le modèle complet pour 4,2 % des extraits ; après 1 200 pas, pour aucun. La perplexité du code n'est plus multipliée que par 1,065, la prose continue de s'améliorer et les additions remontent à 60 %. Les chiffres de la sixième manche se reproduisent presque au chiffre près.

Établi

Un chronomètre enfin sous contrôle

Les quatre mesures du modèle complet s'écartent d'au plus 1,7 %, contre 10 % à la sixième manche. Le spécialiste met 0,88 du temps du modèle complet, et ce rapport ne varie presque pas d'un tour à l'autre (0,882, 0,884, 0,882). Retirer un quart des neurones MLP fait gagner 12 % de temps réel.

Établi

Un coût mesuré sous 0,9

Sans aucun rappel, le coût mesuré se réduit à ce rapport : 0,88. Pour la première fois, dans un même essai et avec un chronomètre stable, un spécialiste coupé puis réparé est plus rapide que le modèle complet, sans s'en écarter de plus de 5 % sur aucun extrait de code.

XXIII

Ce que change la huitième manche

Cinq prédictions sur cinq tiennent. La règle écrite d'avance disait : si le chronomètre est stable et le coût sous 0,9, le maillon b monte de 60 à 65 %. C'est le cas : H10 passe de 57 à 0,95 × 0,65 ≈ 62 %.

Ce que cela veut dire, sans l'exagérer : sur la puce d'un ordinateur ordinaire, une heure de réparation suffit à transformer un modèle coupé de 25 % en spécialiste du code 12 % plus rapide, sans perte notable. C'est loin de la division du coût par 2 qu'annonce H10 ; le reste du chemin devra venir d'ailleurs (coupe plus forte mieux réparée, compilation, passage en code de ce qui suit une règle). Mais la route « couper puis réparer » marche, et elle est désormais mesurée.

XXIV

Neuvième manche : un professeur qui exagère ses hésitations

La septième manche a montré qu'apprendre les hésitations du professeur répare, et qu'apprendre ses seules réponses abîme. Alors, un professeur qui exagère ses hésitations enseigne-t-il mieux encore ? C'est l'idée de la « température », proposée par Hinton et ses collègues en 2015 : professeur et élève aplatissent leurs probabilités avant le cours. À T = 2, « return 90 %, yield 8 % » ressemble plutôt à « return 70 %, yield 20 % » ; à T = 4, plus encore. Trois élèves identiques par taille (T = 1, 2 et 4), même professeur, mêmes textes, même durée. Cinq prédictions, enregistrées avant le lancement.

Source : Hinton, Vinyals & Dean, Distilling the Knowledge in a Neural Network (2015)

Établi

À T = 1, les mêmes chiffres pour la troisième fois

L'élève à T = 1 suit exactement le cours de l'élève « nuances » de la septième manche. Il en redonne exactement les rappels : 6,2 % pour 135M, 14,6 % pour 360M. C'est la troisième fois que ces chiffres sortent à l'identique, aux manches 5, 7 et 9.

Établi

Plus le professeur exagère, moins l'élève apprend

Les rappels augmentent avec la température : 6 → 10 → 15 % pour 135M, 15 → 17 → 21 % pour 360M, à T = 1, 2 et 4. La perplexité du code et celle de la prose se dégradent un peu dans le même ordre. Nous avions parié que T = 2 ferait au moins aussi bien que T = 1 : c'est faux, aux deux tailles.

Prometteur

Pourquoi : ni trop sûr, ni trop hésitant

L'élève qui apprend une version exagérée des hésitations finit par hésiter trop, comme l'élève « réponses » de la septième manche finissait trop sûr de lui. Les deux s'écartent du professeur, dans deux directions opposées. La température aide quand un petit élève apprend d'un grand professeur très sûr de lui, dont les nuances sont presque invisibles. Ici, l'élève est une copie abîmée du professeur, et son but est de lui ressembler exactement : le mieux est de recopier ses probabilités telles quelles.

XXV

Ce que change la neuvième manche

Trois prédictions sur cinq tiennent : la reproduction à T = 1, la dégradation à T = 4 et le doute, meilleur guide que le hasard. Les deux qui tombent sont celles qui pariaient sur un gain à T = 2.

Les manches 7 et 9 dessinent ensemble une règle simple pour réparer un spécialiste : il doit apprendre les probabilités du professeur telles quelles. Trop durcies (les seules réponses) ou trop adoucies (une forte température), elles enseignent moins bien. Cette manche portait sur la façon de réparer, pas sur le coût : H10 reste à 62 %.

XXVI

Dixième manche : le spécialiste hors de son terrain

Le spécialiste de la huitième manche avait été réparé et évalué sur du code de la bibliothèque standard de Python : des fichiers différents, mais le même style et les mêmes auteurs. Est-il bon en code Python, ou seulement en code de la bibliothèque standard ? Nous avons refait exactement la huitième manche, en ajoutant une seconde évaluation sur du code étranger : 48 extraits tirés des sources de PyTorch et de Transformers, jamais vus pendant la coupe ni pendant la réparation. Cinq prédictions, enregistrées avant le lancement.

Établi

Sur son terrain, la huitième manche se reproduit

Sur la bibliothèque standard, les chiffres de la huitième manche reviennent à l'identique : 0 % de rappels après 1 200 pas, un rapport de vitesse de 0,88, un chronomètre stable (dérive de 1 %). Coût mesuré : 0,88.

Établi

Sur du code étranger, il rappelle près d'un extrait sur deux

Sur le code de PyTorch et de Transformers, le spécialiste coupé rappelle le modèle complet pour 71 % des extraits avant réparation, et encore 48 % après 1 200 pas. La réparation aide un peu (perplexité × 1,29 → × 1,16), mais bien moins que sur son terrain. Coût mesuré sur ce code : 1,36, plus cher que de ne rien couper. Ce que nous appelions « spécialiste du code Python » est en fait un spécialiste du code de la bibliothèque standard : son domaine est celui de sa réparation.

Établi

Et son doute ne le guide plus

Sur son terrain, suivre le doute du spécialiste a toujours demandé moins de rappels que le hasard. Sur le code étranger, ce n'est plus vrai : 48 % de rappels en suivant le doute, 48 % au hasard. Le spécialiste ne sait pas reconnaître les extraits qu'il traite mal quand ils sortent de son domaine. C'est un résultat important pour le traducteur : son signal d'alarme ne vaut que là où il a été réglé.

XXVII

Ce que change la dixième manche

Une prédiction sur cinq tient : la reproduction sur la bibliothèque standard. Les quatre autres tombent, et largement. Notre manche la plus ratée, et sans doute la plus utile.

La règle écrite d'avance disait : plus de 20 % de rappels sur le code étranger ramènent le maillon b de 65 à 60 %. Il en faut 48 % : H10 redescend de 62 à 57 %. Le gain mesuré à la huitième manche reste vrai, mais seulement sur le terrain exact de la réparation, et un traducteur réel devrait savoir quand il en sort : son doute, lui, ne le sait pas.

XXVIII

Onzième manche : couper la moitié

Pour s'approcher de la division du coût par 2, il faut couper plus. Nous avons retiré 50 % des neurones MLP du modèle de 360 millions, puis réparé huit fois plus longtemps qu'à la cinquième manche, avec des contrôles après 600, 1 200 et 2 400 pas. Même chronométrage entrelacé, même double évaluation (bibliothèque standard et code étranger). Cinq prédictions, enregistrées avant le lancement.

Source : Xia et al., Sheared LLaMA: Accelerating Language Model Pre-training via Structured Pruning (ICLR 2024)

Établi

Le spécialiste est bien plus rapide

Coupé de moitié, il met 0,75 du temps du modèle complet, chronomètre stable (dérive de 0,7 %) : un quart de temps gagné, comme à la quatrième manche.

Établi

Mais la réparation plafonne

Sur la bibliothèque standard, les rappels passent de 81 % à 54 %, 50 % puis 46 % après 600, 1 200 et 2 400 pas. Chaque doublement de la durée ne gagne plus que 4 points. La perplexité du code reste multipliée par 1,17, celle de la prose par près de 5. Coût mesuré : 1,21. Sur le code étranger, c'est pire : 73 % de rappels, coût 1,48.

Spéculatif

Pourquoi : on a retiré trop de savoir

À 25 %, la réparation retrouvait presque tout ce que la coupe avait fait perdre. À 50 %, elle n'en retrouve qu'une partie, même avec deux passages et demi sur le code d'entraînement. Une explication possible : une moitié des neurones ne suffit plus à contenir ce que le modèle savait, et la distillation ne peut pas recréer de la place. Les travaux comme Sheared-LLaMA réparent avec des milliards de jetons, pas quelques millions.

XXIX

Ce que change la onzième manche

Deux prédictions sur cinq tiennent : les rappels baissent à chaque contrôle, et le spécialiste tourne bien à 0,75. Les trois autres tombent : après 2 400 pas, il faut encore 46 % de rappels et le coût reste à 1,21.

La règle écrite d'avance ne fait pas bouger H10 : il reste à 57 %. Les manches 10 et 11 disent la même chose de deux façons : sur une machine comme un Mac, couper puis réparer fonctionne pour une coupe modérée et sur un terrain précis. Couper plus fort, ou viser plus large, demande une réparation d'une tout autre ampleur.

XXX

Douzième manche : réviser avec deux professeurs, et un douanier

La dixième manche avait montré deux faiblesses : le spécialiste réparé sur la bibliothèque standard tenait mal sur du code étranger, et son doute ne repérait pas les extraits qu'il traitait mal. Nous avons attaqué les deux à la fois. D'abord, la coupe et la réparation ont porté sur un mélange : moitié bibliothèque standard, moitié sources de Transformers. Ensuite, nous avons testé un détecteur qui ne regarde pas l'hésitation du spécialiste, mais « à quoi ressemble » l'extrait : une empreinte de ses états internes sur le code connu, et la distance de chaque nouvel extrait à cette empreinte. Six prédictions, enregistrées avant le lancement.

Établi

Une réparation variée tient sur un code jamais vu

Après 1 200 pas, le spécialiste rappelle le modèle complet pour 4 % des extraits de la bibliothèque standard, 0 % des fichiers de Transformers mis de côté, et 21 % des extraits de PyTorch, qu'aucune étape n'avait vus. À la dixième manche, réparé sur la seule bibliothèque standard, il en rappelait 48 % sur un code étranger qui mêlait PyTorch et Transformers. Sur les fichiers de Transformers mis de côté, il fait même un peu mieux que le modèle complet (perplexité × 0,997).

Établi

Le douanier reconnaît le code étranger

Le détecteur distingue les extraits de PyTorch du code connu dans 93 % des paires tirées au hasard (aire sous la courbe ROC de 0,93). Le doute, lui, échoue encore sur PyTorch : le suivre demande plus de rappels que le hasard (21 % contre 17 %). Regarder ce que le spécialiste lit marche mieux que lui demander s'il hésite.

Prometteur

Sur un flux mélangé, le coût passe sous 1

Sur un flux de 96 extraits, moitié bibliothèque standard, moitié PyTorch, comme en usage réel, rappeler d'abord les extraits que le détecteur juge étrangers demande 9,4 % de rappels, contre 11,5 % en suivant le doute, 13,8 % au hasard et 7,3 % pour un oracle qui saurait tout. Avec un rapport de vitesse de 0,88 et un chronomètre stable (dérive de 1,4 %), le coût mesuré tombe à 0,97.

XXXI

Ce que change la douzième manche

Six prédictions sur six tiennent : la deuxième fois dans ce carnet. Les deux faiblesses de la dixième manche ont chacune leur remède : une réparation plus variée, et un détecteur qui regarde l'extrait plutôt que l'hésitation.

Notre règle écrite d'avance demandait davantage pour faire remonter H10 : un coût sous 0,95 sur le flux mélangé. Avec 0,97, il manque encore un peu : le maillon b reste à 60 %, H10 à 57 %. Le traducteur réel se dessine pourtant : un spécialiste réparé sur un terrain varié, un douanier qui envoie l'étranger au modèle complet, et un gain modeste mais mesuré, même quand le flux mélange connu et inconnu.

XXXII

Treizième manche : douze professeurs, et un douanier pressé

Deux familles de code avaient suffi, à la douzième manche, pour faire tomber les rappels sur PyTorch de 48 à 21 %. Nous avons poussé l'idée : réparation sur douze familles de code Python à parts égales (bibliothèque standard, Transformers, NumPy, pandas, SymPy, NetworkX, pip, setuptools, Rich, Pydantic, Pygments, Jinja2), PyTorch restant l'examen final. Et nous avons essayé un douanier pressé, qui juge l'extrait après 8 couches sur 32 au lieu d'attendre la dernière : s'il le trouve étranger, le spécialiste s'arrête là et le modèle complet prend le relais. Six prédictions, enregistrées avant le lancement.

Établi

Plus de professeurs n'aide pas sur PyTorch

Après 1 200 pas, le spécialiste rappelle le modèle complet pour 0 % des fichiers mis de côté des onze autres familles : il connaît bien ce qu'il a révisé. Mais sur PyTorch, il en rappelle 23 %, autant qu'avec deux familles (21 %), et sur la bibliothèque standard, il remonte à 8 % (4 % à la douzième manche). Une partie de l'explication tient à notre montage : à parts égales, la plus petite famille limitait chacune des autres, et l'élève a revu trois fois un corpus plus petit qu'à la douzième manche.

Établi

Le douanier final perd de son flair

Avec douze familles dans son empreinte, le code connu devient très varié, et PyTorch s'en distingue moins bien : l'aire sous la courbe ROC tombe de 0,93 à 0,73. Sur le flux mélangé, il demande encore moins de rappels que le doute (11,5 % contre 15,6 %), mais le coût reste à 0,99.

Prometteur

Le douanier pressé ne voit rien, mais fait gagner du temps

Après 8 couches, le détecteur ne distingue plus PyTorch du code connu (aire sous la courbe ROC de 0,45, comme un tirage à pile ou face) : il faut 24 % de rappels en suivant son tri. Pourtant, son coût est le meilleur de la manche, 0,95 : lire 8 couches ne coûte que 0,2 du modèle complet, et chaque extrait renvoyé tôt épargne au spécialiste les trois quarts de sa lecture. Le gain vient de l'arrêt précoce, pas du flair.

XXXIII

Ce que change la treizième manche

Deux prédictions sur six tiennent : la bonne note sur les familles révisées, et un douanier pressé moins coûteux que le douanier final. Les quatre autres tombent : PyTorch reste à 23 %, la bibliothèque standard remonte, le douanier pressé ne reconnaît rien, et le coût du douanier final reste à 0,99.

La règle écrite d'avance demandait que les rappels sur PyTorch tombent sous 12 % : H10 reste à 57 %. La leçon est double. Ajouter des familles ne remplace pas une révision plus longue de chacune. Et un douanier a besoin d'une empreinte assez nette : plus le terrain connu est vaste, plus l'étranger s'y fond. Le meilleur montage reste, pour l'instant, celui de la douzième manche.

XXXIV

Quatorzième manche : où placer le douanier ?

Le douanier final de la douzième manche avait du flair, mais il jugeait après que le spécialiste avait tout lu. Celui de la treizième manche, placé après 8 couches, faisait gagner du temps sans rien voir. Nous avons repris exactement le montage de la douzième manche et placé six douaniers le long du trajet : après 8, 12, 16, 20 et 24 couches sur 32, et à la fin. Pour ne pas choisir le meilleur après coup, la règle de H10 portait d'avance sur un seul d'entre eux, celui à 16 couches. Cinq prédictions, enregistrées avant le lancement.

Établi

La douzième manche se reproduit au chiffre près

Même montage, mêmes résultats : après 1 200 pas, 4,2 % de rappels sur la bibliothèque standard, 0 % sur les fichiers de Transformers mis de côté, 20,8 % sur PyTorch, et l'aire sous la courbe ROC du douanier final revient à 0,93. Le chronomètre est stable (dérive de 0,5 %).

Prometteur

Le flair n'apparaît qu'à la toute fin

Les douaniers intermédiaires ne voient presque rien : aire sous la courbe ROC de 0,63 à 8 couches, 0,62 à 12, 0,52 à 16, 0,49 à 20, 0,69 à 24, puis 0,93 à la fin. Le flair ne grandit pas peu à peu avec la profondeur : il surgit à la dernière couche. Une explication possible, que cette manche ne vérifie pas : la dernière couche sert à prédire le mot suivant, et c'est là que le vocabulaire propre à chaque bibliothèque laisse une trace nette ; les couches du milieu décrivent la structure du code, commune à toutes.

Établi

L'arrêt précoce gagne sans voir

Le douanier à 16 couches, celui de notre règle, demande 21 % de rappels et coûte 0,98, plus que le douanier final (0,97). Le moins cher est encore celui à 8 couches, 0,94, alors qu'il ne voit presque rien : comme à la treizième manche, il gagne parce qu'il arrête tôt le spécialiste sur une partie des extraits, pas parce qu'il trie bien. Choisir ce douanier après coup serait tricher ; notre règle ne le permet pas.

XXXV

Ce que change la quatorzième manche

Une prédiction sur cinq tient : la reproduction de la douzième manche. Les quatre autres tombent : à 16 couches, le douanier n'a pas de flair, il n'en a pas plus qu'à 8, et son coût dépasse celui du douanier final.

La règle écrite d'avance ne fait pas bouger H10 : il reste à 57 %. Nous savons maintenant que, dans ce modèle, reconnaître le code étranger demande d'aller jusqu'à la dernière couche. Pour gagner sur les deux tableaux, il faudrait un douanier plus subtil qu'une simple distance aux états cachés, par exemple un petit classifieur entraîné à repérer l'étranger dès les premières couches.

XXXVI

Ce qui résiste

L'échelle. Un modèle de 0,8 million de paramètres sur deux tâches propres n'est pas un modèle de 8 milliards face à des questions réelles. La superposition y est bien plus dense, et les tâches s'y mélangent davantage.

Décompiler par le comportement n'est pas lire le réseau. Notre niveau 3 devine un programme à partir des réponses, il ne le lit pas dans les poids. Cela marche pour une règle qu'on sait déjà nommer ; trouver une règle inconnue est un autre problème, celui d'AlphaEvolve.

Le doute du spécialiste. Tout le calcul repose sur un spécialiste qui sait quand il ne sait pas. Les modèles sont souvent trop sûrs d'eux ; un aiguillage qui se trompe en silence coûte plus cher qu'il ne rapporte.

Les gains réels de l'élagage. Mettre des poids à zéro n'accélère rien si la puce calcule quand même les zéros. Il faut couper des blocs entiers, ou suivre les motifs que la puce sait exploiter, et ces coupes-là abîment davantage.

Haut de page