L'IA de demain Glossaire
FR

← Retour au carnet

Approfondissement · Folio V

Un petit modèle à la hauteur d'un géant ?

Llama 3 8B a 8 milliards de paramètres. Les plus grands modèles ouverts en ont mille milliards ou plus. Peut-on combler cet écart sans fabriquer un nouveau géant ? Notre réponse tient en une phrase : un petit modèle n'a pas besoin d'être gros, il a besoin d'avoir accès à ce que le gros garde dans ses poids. Voici le raisonnement, les calculs, et les limites.

Prometteur mise à jour du

I

La question, posée honnêtement

Llama 3 8B est sorti en avril 2024. Il a été entraîné sur plus de 15 000 milliards de jetons, mais il ne compte que 8 milliards de paramètres. En face, Kimi K2 en compte mille milliards, et les modèles fermés de pointe sont probablement plus gros encore, même si aucun chiffre officiel n'existe. L'écart de taille va donc de 125 fois à plusieurs centaines de fois.

« Aussi bon » doit être précisé, sinon la question n'a pas de réponse. Aussi bon sur quoi, et pour quel coût ? Un petit modèle qui égale un géant en dépensant dix fois plus n'a rien gagné. Nous cherchons donc un petit modèle qui obtient autant de bonnes réponses, pour un coût comparable ou moindre, et nous dirons pour quels types de tâches cela semble possible.

Source : Meta, Llama 3 8B model card (2024), Kimi Team, Kimi K2 (2025)

II

D'où vient l'écart ? Quatre choses différentes

Quand un gros modèle fait mieux, il ne s'agit pas d'une seule supériorité mais de quatre. Elles ne se comblent pas de la même façon, et c'est toute la clé du problème.

1. Le savoir, c'est-à-dire les faits retenus. Le carnet l'a vu dès le départ : un modèle stocke environ 2 bits de connaissance par paramètre. Faisons le calcul : 8 milliards × 2 bits = 16 milliards de bits, soit environ 2 Go de connaissances pour Llama 3 8B. Pour un modèle de mille milliards : environ 250 Go. Un rapport de 125.

2. La portée : le modèle sait-il, au moins de temps en temps, trouver la bonne réponse ? Notons p sa probabilité de réussir du premier coup. Si p vaut zéro, le problème est hors de sa portée. 3. La fiabilité : p n'est pas nul, mais il est petit. Le modèle sait faire, il se trompe juste souvent.

4. La largeur : savoir un peu de tout, relier des domaines éloignés, saisir une nuance, juger une question ouverte où il n'existe pas de « bonne réponse » unique.

Notre idée centrale : chaque part a son propre remède. Le savoir se met dans une mémoire externe. La portée s'apprend d'un maître ou s'emprunte à un outil. La fiabilité s'achète en essayant plusieurs fois, à condition d'avoir un juge. La largeur, elle, n'a pas de remède simple : c'est là, pensons-nous, que les paramètres achètent vraiment quelque chose.

Source : Allen-Zhu & Li, Physics of Language Models 3.3 (2024)

III

Combler la portée : un maître et des outils

Un modèle ne trouve jamais une réponse qu'il n'a aucun moyen de construire. Deux remèdes : apprendre d'un maître qui sait déjà (la distillation), ou emprunter la capacité à un outil qui la possède (une calculatrice, un interpréteur de code). Ces deux études montrent qu'un « vieux » squelette suffit.

Établi

Un vieux squelette, un nouveau maître : DeepSeek-R1-Distill-Llama-8B

DeepSeek a pris Llama 3.1 8B, de la même famille que Llama 3, et l'a entraîné sur des raisonnements écrits par son grand modèle R1. Résultat : 50,4 % au concours de mathématiques AIME 2024, contre 9,3 % pour GPT-4o ; 89,1 % au test MATH-500, contre 74,6 % ; et en sciences (GPQA Diamond), 49,0 % contre 49,9 %, presque à égalité. Pour comparer, Meta annonce 51,9 % au test MATH pour son propre Llama 3.1 8B, un test proche mais pas identique. Les paramètres n'ont pas changé de nombre : c'est ce qu'on leur a appris qui a changé.

Source : DeepSeek-AI, DeepSeek-R1 (2025), Meta, Llama 3.1 8B Instruct model card (2024)

Établi

Emprunter la capacité : ToRA, avec un outil de calcul

ToRA apprend à un modèle à alterner raisonnement en mots et petits programmes qu'il fait exécuter : calculs, algèbre symbolique. Construit sur Llama 2 (2023), ToRA-7B atteint 44,6 % au test MATH, 22 points de plus que le meilleur modèle ouvert de l'époque, pourtant dix fois plus gros (70 milliards). La version de 34 milliards dépasse même GPT-4 raisonnant sans outil. L'outil ne se trompe pas en calcul : le modèle n'a plus qu'à savoir quoi lui demander.

Source : Gou et al., ToRA (ICLR 2024)

IV

Combler la fiabilité : essayer plusieurs fois, et trier

Quand p est petit mais non nul, le remède est simple en principe : essayer plusieurs fois et garder le bon essai. Tout repose alors sur le juge qui reconnaît le bon. Trois études mesurent jusqu'où cela va.

Établi

Large Language Monkeys : 250 essais (2024)

En multipliant les essais, la part des problèmes résolus par au moins un essai grimpe régulièrement sur quatre ordres de grandeur. Sur SWE-bench Lite, un banc d'essai fait de vrais tickets tirés de projets GitHub, un modèle passe de 15,9 % avec un essai à 56 % avec 250 essais, au-dessus du meilleur score obtenu à l'époque en un seul essai (43 %). Mais là où rien ne vérifie automatiquement, choisir par vote ou par un modèle de notation plafonne au-delà de quelques centaines d'essais.

Source : Brown et al., Large Language Monkeys (2024)

Prometteur

1 milliard contre 405 milliards (2025)

Avec une stratégie d'essais bien réglée et un modèle qui note chaque étape du raisonnement, Llama 3.2 1B obtient 72,2 % au test MATH-500 avec 512 essais, contre 71,4 % pour Llama 3.1 405B en un essai. Une victoire étroite, et le petit perd au concours AIME 2024, plus difficile. Notre calcul : 512 essais d'un modèle de 1 milliard sollicitent à peu près autant de paramètres par mot qu'un essai du modèle de 405 milliards (512 contre 405), sans compter le juge. À calcul presque égal, le petit fait jeu égal.

Source : Liu et al., Can 1B LLM Surpass 405B LLM? (2025)

Prometteur

rStar-Math : chercher comme aux échecs (Microsoft, 2025)

Un petit modèle explore les solutions pas à pas, comme un programme d'échecs explore les coups, guidé par un second petit modèle qui juge chaque étape. Les deux s'améliorent ensemble en quatre tours, sur 747 000 problèmes. Qwen2.5-Math-7B passe de 58,8 % à 90,0 % au test MATH, et Phi3-mini (3,8 milliards) de 41,4 % à 86,4 %, au-dessus d'o1-preview. Les auteurs n'ont distillé aucun modèle plus fort.

Source : Guan et al., rStar-Math (2025)

V

Combler le savoir : une mémoire, et des spécialistes

Pour les faits, le remède paraît évident : ne pas les apprendre, les consulter. Les résultats sont plus nuancés qu'on le croirait. Et pour la spécialité, une autre idée marche : beaucoup de petits spécialistes plutôt qu'un seul généraliste.

Établi

MassiveDS : mille milliards de jetons à consulter (2024)

Une équipe de l'université de Washington a constitué une base de 1 400 milliards de jetons que le modèle consulte en répondant. Sur les questions de faits (TriviaQA, Natural Questions), Llama 2 7B avec une base de moins de 100 milliards de jetons bat Llama 2 13B et Llama 3 8B sans base. Mais sur MMLU et MedQA, qui demandent davantage de raisonnement, la mémoire ne permet pas au petit de dépasser le grand. Consulter apporte des faits, pas le raisonnement qui les relie.

Source : Shao et al., Scaling Retrieval-Based Language Models with a Trillion-Token Datastore (2024)

Prometteur

LoRA Land : 310 spécialistes contre GPT-4 (2024)

Predibase a affiné 310 petits modèles (10 modèles de base × 31 tâches) avec des adaptateurs LoRA en 4 bits. En moyenne, ils battent leur modèle de base de 34 points et GPT-4 de 10 points, chacun sur sa tâche. Et grâce au partage du modèle de base, 25 spécialistes Mistral 7B tiennent sur une seule carte graphique de 80 Go. Limite : ce sont des tâches étroites et bien définies, pas une conversation libre.

Source : Zhao et al., LoRA Land (Predibase, 2024)

VI

Le calcul : quand le petit gagne-t-il ?

Construisons un modèle simple. Un essai du petit modèle réussit avec une probabilité p. Avec k essais indépendants et un juge parfait, la chance qu'au moins un soit juste vaut 1 − (1 − p)ᵏ. Par exemple, avec p = 30 % et 5 essais : 1 − 0,7⁵ = 1 − 0,168 = 83 %.

Combien d'essais pour égaler un grand modèle qui réussit 80 % du premier coup ? Il faut 1 − (1 − p)ᵏ ≥ 0,8, soit k ≥ ln(0,2) / ln(1 − p). Pour p = 30 % : 5 essais. Pour 12 % : 13 essais. Pour 5 % : 32 essais. Pour 0 % : jamais. C'est la figure ci-dessous.

Reste le coût. Un essai du petit coûte une fraction c d'un essai du grand, en gros le rapport des paramètres actifs par mot. Le petit est rentable si k × c < 1. En combinant les deux formules, on trouve un seuil : le petit gagne dès que p dépasse 1 − 0,2ᶜ. Ce seuil dépend énormément du géant d'en face.

Face à un géant dense de 2 000 milliards de paramètres, c = 8 / 2 000 = 0,004 et le seuil tombe à 0,6 % : presque tout ce que le petit sait faire, même rarement, devient rentable. Face à un géant à experts avec 100 milliards de paramètres actifs, c = 0,08 et le seuil monte à 12 %. Face à Kimi K2 et ses 32 milliards actifs, c = 0,25 et le seuil atteint 33 %.

Deux leçons. D'abord, plus le géant est économe, plus il est dur à battre : les géants à experts, qui n'allument qu'une petite partie d'eux-mêmes, réduisent l'avantage du petit. Ensuite, le juge est la pièce maîtresse : sans lui, on ne sait pas lequel des k essais garder. Enfin, une mise en garde honnête : notre calcul suppose des essais indépendants et un juge gratuit. En vrai, un modèle refait souvent la même erreur, et Brown et ses coauteurs observent une montée plus lente que notre formule : à peu près le même gain à chaque doublement du nombre d'essais. Il faut donc plus d'essais que ce calcul ne l'indique.

Source : Kimi Team, Kimi K2 (2025), Brown et al., Large Language Monkeys (2024)

Fig. M — Rattraper le géant à force d'essais

Réussit 30 % du temps : 5 essais suffisent12 % : 13 essais5 % : 32 essais0 % : jamais

Schéma illustratif : il montre l'idée, pas des mesures.

Chaque courbe suit la formule 1 − (1 − p)ᵏ : la chance qu'au moins un essai sur k soit juste, si un juge sait reconnaître le bon. Les points marquent l'endroit où le petit modèle rejoint un grand modèle qui réussit 80 % du premier coup. Calcul idéal : en vrai, les essais d'un même modèle se ressemblent, et il en faut davantage.
VII

Le plan : l'atelier du petit modèle

Voici notre proposition. Elle assemble les pistes du carnet autour du petit modèle, comme les apprentis et les outils autour du maître dans l'atelier de Léonard. Six pièces.

1. Un aiguilleur reconnaît le type de question (calcul, code, fait, rédaction) et choisit les pièces utiles. 2. Une bibliothèque de spécialistes : des adaptateurs LoRA, un par domaine, appris auprès d'un grand modèle. Notre calcul : un adaptateur de rang 16 sur toutes les couches de Llama 3 8B compte environ 42 millions de paramètres, soit 0,5 % du modèle et environ 84 Mo. Mille spécialistes pèsent 84 Go et un seul s'allume à la fois : c'est un mélange d'experts, mais à l'échelle du système.

3. Une mémoire externe hiérarchisée, comme dans les parties II et III : les faits ne sont pas dans les poids mais dans une base rangée en arbres et en graphes. 4. Une boîte à outils et à programmes : calculatrice, interpréteur de code, solveurs, et les programmes déjà trouvés, réutilisés comme la bibliothèque de compétences de Voyager.

5. Un juge : des tests pour le code, un recalcul pour les maths, un modèle qui note les étapes ailleurs. Le petit modèle essaie plusieurs fois, le juge trie. 6. Un recours : si rien ne passe le juge, la question monte au grand modèle, comme dans une cascade. Sa réponse, une fois vérifiée, sert à entraîner le spécialiste suivant : le haut de la pyramide enseigne au bas (hypothèse H7).

Un dernier calcul dit si l'ensemble vaut le coup. Chaque question coûte k × c (les essais du petit) plus la part e des questions qui montent au grand. Avec 8 essais à c = 0,08, cela fait 0,64 + e. L'atelier est rentable tant que moins de 36 % des questions montent. À 10 %, il coûte 0,74, soit environ un quart de moins que le géant seul. Et chaque question montée enrichit les spécialistes, donc e devrait baisser avec le temps.

Source : Zhao et al., LoRA Land (Predibase, 2024), Wang et al., Voyager (2023)

VIII

Et un vieux modèle comme Llama 3 ?

Bonne nouvelle : l'âge des poids compte moins que ce qu'on leur apprend ensuite. ToRA a été construit sur Llama 2 (2023) ; DeepSeek-R1-Distill-Llama-8B, sur Llama 3.1 8B, de la même famille que Llama 3. Dans les deux cas, un entraînement complémentaire sur de bons exemples a fait bondir les résultats.

Les vraies limites de Llama 3 8B sont ailleurs. Sa fenêtre de contexte : 8 000 jetons, soit environ 6 000 mots, une douzaine de pages. C'est peu pour lire des documents tirés d'une mémoire ; Llama 3.1 l'a portée à 128 000. Son point de départ en maths : 30 % au test MATH, selon Meta. Plus le point de départ est bas, plus p est petit, et plus il faut d'essais, ou un maître.

Notre recette pour un vieux modèle, dans l'ordre : d'abord un adaptateur appris auprès d'un maître, pour qu'il sache raisonner longuement et appeler des outils ; ensuite la mémoire et les outils, pour les faits et les calculs ; enfin les essais multiples avec un juge, là où il en existe un. L'ordre compte : les essais multiples n'aident que si p est déjà assez grand, et c'est le maître qui le fait monter.

Source : Meta, Llama 3 8B model card (2024), Meta, Llama 3.1 8B Instruct model card (2024)

IX

Ce qui résiste

Les questions sans juge. Rédiger, conseiller, trancher une question ouverte : aucun programme ne dit quel essai est le meilleur. Choisir par vote ou par un modèle de notation plafonne après quelques centaines d'essais.

La portée nulle. Si p vaut zéro, aucun nombre d'essais n'aide. Le renforcement lui-même ne dépasse pas ce que le modèle de base trouve en de nombreux essais. Il faut alors un maître ou un outil, et il n'en existe pas toujours.

La largeur. Relier mille faits dispersés, saisir une nuance, garder en tête un long document. La mémoire aide pour un fait précis, beaucoup moins pour raisonner sur beaucoup de faits à la fois : MassiveDS n'aidait pas le petit à dépasser le grand sur MMLU. C'est là, pensons-nous, que les paramètres achètent vraiment quelque chose.

Le temps. Trente-deux essais prennent du temps, ou des machines en parallèle. Pour une conversation fluide, c'est un vrai frein, même quand le coût total est plus bas.

Source : Brown et al., Large Language Monkeys (2024), Yue et al., Does RL Really Incentivize Reasoning Capacity Beyond the Base Model? (NeurIPS 2025), Shao et al., Scaling Retrieval-Based Language Models with a Trillion-Token Datastore (2024)

X

Nos paris, chiffrés

Ce qui suit est notre propre raisonnement, pas un résultat publié. Chaque pari porte un degré de confiance, comme les hypothèses du carnet.

Spéculatif

Sur les tâches vérifiables, l'écart est surtout une affaire de fiabilité · 65 %

En maths, en code testé, en preuves formelles, le petit modèle trouve souvent la bonne réponse parfois : le multiplier par des essais et un juge comble l'essentiel de l'écart. Ce pari tomberait si l'on trouvait de nombreux problèmes que le géant résout et que le petit ne résout jamais, même en mille essais.

Spéculatif

Les faits isolés s'achètent au disque, pas aux paramètres · 60 %

Pour une question dont la réponse tient dans un document, une bonne mémoire externe vaut des centaines de milliards de paramètres. Pour une question qui demande de combiner beaucoup de faits, beaucoup moins.

Spéculatif

Un vieux 8 milliards bien entouré égale un géant sur une liste fermée de tâches · 55 %

Sur un ensemble défini de tâches vérifiables, un Llama 3 8B muni d'adaptateurs, d'une mémoire, d'outils et d'un juge atteindrait le niveau d'un modèle de mille milliards de paramètres, pour un coût comparable. C'est notre hypothèse H8.

Spéculatif

Sur les tâches ouvertes, l'écart restera · 70 %

Écrire, conseiller, juger : sans vérificateur, multiplier les essais ne sert presque à rien, et la largeur ne se distille pas en un adaptateur. Nous pensons que les géants gardent ici un avantage net.

XI

L'expérience à faire, et nos prédictions

Prendre Llama 3.1 8B, ou Llama 3 8B pour corser l'épreuve, et construire l'atelier. Le comparer, à coût égal, à un modèle de pointe, sur quatre familles de tâches : les maths (MATH-500, AIME), le code avec tests (LiveCodeBench), les faits avec mémoire (TriviaQA, Natural Questions) et des questions ouvertes jugées par des humains.

Nos prédictions, écrites avant toute expérience pour qu'on puisse nous donner tort. En maths et en code : à moins de 5 points du géant, pour un coût égal ou moindre. Sur les faits : à moins de 10 points avec une bonne mémoire. Sur les questions ouvertes : un retard net. Si l'écart en maths dépasse 15 points, notre pari sur la fiabilité tombe, et nous baisserons H8.

Haut de page