Approfondissement · Folio IV
Distiller, d'habitude, c'est apprendre à un petit modèle à imiter un grand. Il existe une autre voie : demander au grand modèle d'écrire un programme qui résout le problème, puis faire tourner le programme. Un programme ne coûte presque rien à exécuter, et on peut le lire et le vérifier.
Beaucoup de tâches reviennent avec des valeurs différentes : convertir une date, caler une réunion, trier une liste selon une règle. Y répondre à chaque fois avec un grand modèle, c'est payer encore et encore pour le même raisonnement.
L'alternative : utiliser l'intelligence une fois pour produire un outil, un court programme, puis le réutiliser. C'est la différence entre demander chaque addition à un mathématicien et lui demander une fois de vous apprendre à poser une addition.
Dans LATM (Large Language Models as Tool Makers, Google DeepMind et Princeton, 2023), un modèle puissant joue le fabricant d'outils : à partir de quelques exemples, il écrit une fonction Python, la teste et l'accompagne d'un mode d'emploi. Un modèle plus léger joue l'utilisateur : il reconnaît le type de problème et appelle la fonction.
Les outils sont rangés dans un cache de fonctions : au lieu de garder des réponses en mots, le système garde la façon de les produire, pour toute une famille de questions.
Source : Cai et al., Large Language Models as Tool Makers (ICLR 2024)
Fig. H — Payer une fois, puis presque rien
Le grand modèle répond à chaque foisOutil écrit une fois, puis réutilisécoût d'écriture de l'outil
Schéma illustratif : il montre l'idée, pas des mesures.
Prometteur
Sur des tâches de raisonnement difficiles (Big-Bench), les outils écrits par GPT-4 et utilisés par GPT-3.5 Turbo donnent les mêmes résultats que GPT-4 qui ferait tout, alors que GPT-4 coûtait alors plus de 15 fois plus cher par appel. Le coût unique de fabrication se répartit sur chaque usage.
Source : Cai et al., Large Language Models as Tool Makers (ICLR 2024)
Établi
Google DeepMind associe des modèles Gemini à des évaluateurs automatiques pour faire évoluer des programmes entiers. Une règle de répartition des tâches trouvée pour les centres de données de Google tourne depuis plus d'un an et récupère en moyenne 0,7 % des ressources de calcul mondiales de Google. Elle a aussi accéléré de 23 % une opération clé de Gemini, soit 1 % de temps d'entraînement en moins.
Source : Google DeepMind, AlphaEvolve (2025)
Établi
Multiplier deux matrices 4×4 de nombres complexes demandait 49 multiplications depuis la méthode de Strassen, en 1969. AlphaEvolve a trouvé une façon d'en faire 48. Petit pas, mais sur une opération répétée des milliards de fois en IA. Ici, le programme est le savoir distillé : exact, lisible, vérifiable.
Source : Google DeepMind, AlphaEvolve (2025)
Tout ne tient pas dans un programme. Traduire un poème ou saisir l'ironie ne se réduit pas à une règle, et c'est justement là que les grands modèles brillent. Un outil doit aussi être vérifié : un outil faux se trompe en silence à chaque usage. C'est pourquoi AlphaEvolve ne fonctionne que là où un évaluateur automatique peut noter chaque essai.
Cette piste parle à H3, « règles + exceptions = compression ». Un programme est la forme la plus compacte d'une règle : quelques lignes remplacent des milliers d'exemples. Ce que le programme ne sait pas traiter devient l'exception, laissée au modèle.
Repérer les questions qui reviennent souvent sur OrigoTech (conversions de devises, pourcentages, dates), demander à un grand modèle d'écrire chaque fonction une fois, puis compter combien de questions la fonction résout correctement sans aucun modèle.