Carnet vivant · Codex n° 1
Et si l'on rangeait le savoir avant de l'apprendre ?
Ce carnet est notre tableau blanc. Nous y notons pistes, hypothèses et conclusions provisoires sur une question : comment construire l'IA autrement, pour qu'elle coûte moins, consomme moins et se trompe moins. Premier chantier : une hiérarchie des données, pour apprendre et pour consulter.
On entraîne aujourd'hui un modèle sur une « soupe plate » : des milliers de milliards de mots, tous au même niveau. Un message posté en passant et un manuel de physique pèsent pareil. Notre intuition de départ : une partie de l'énorme appétit de données de l'IA sert à reconstruire une hiérarchie que personne ne lui donne.
Fig. 1 — La pyramide du savoir
Établi
Des expériences contrôlées montrent qu'un modèle de langage bien entraîné stocke environ 2 bits de connaissance par paramètre, pas davantage. Chaque paramètre est donc précieux : le remplir de détails a un coût.
Source : Allen-Zhu & Li, Physics of Language Models 3.3 (2024)
Établi
Dans la même étude, quand 7 textes d'entraînement sur 8 sont du bruit, la capacité à retenir le savoir utile chute jusqu'à 20 fois. Ajouter simplement le nom du site d'origine devant chaque texte aide nettement le modèle à trier. Une étiquette de provenance, c'est déjà une petite hiérarchie.
Source : Allen-Zhu & Li, Physics of Language Models 3.3 (2024)
Première façon d'utiliser une hiérarchie : ranger et trier les données d'entraînement, pour que le modèle apprenne plus vite, avec moins. Comme un élève qui suit un bon manuel plutôt qu'une pile de notes en vrac.
Établi
phi-1 (1,3 milliard de paramètres), entraîné sur des données « de qualité manuel scolaire », a battu en programmation des modèles 10 fois plus gros entraînés sur 100 fois plus de données.
Source : Gunasekar et al., Textbooks Are All You Need (2023)
Plus de 200 modèles entraînés en présentant les données du facile au difficile : ils atteignent le niveau de référence avec 18 à 45 % d'étapes en moins. Un « échauffement » ordonné, suivi d'un ordre aléatoire, garde jusqu'à 3,5 % d'avance.
Établi
Une autre étude de 2026 trouve que ces gains dépendent de la taille : l'ordre stabilise surtout les petits modèles. Dans l'ensemble, les résultats publiés sur l'apprentissage ordonné restent mitigés.
Source : Elgaar & Amiri, Curriculum Learning for LLM Pretraining (2026)
Avec une bonne mesure de ce qui mérite d'être gardé, l'erreur peut baisser exponentiellement avec la taille des données conservées, au lieu de suivre la loi lente habituelle. Montré en théorie, et en pratique sur des tâches d'images.
Source : Sorscher et al., Beyond neural scaling laws (NeurIPS 2022)
Les Large Concept Models de Meta raisonnent phrase par phrase, dans un espace de sens partagé par 200 langues : une hiérarchie explicite des mots vers les idées. Ils restent pour l'instant moins fluides que les modèles classiques.
Source : Meta, Large Concept Models (2024)
Établi
Entraîner un modèle sur ce qu'a produit le précédent, en remplaçant les vraies données, l'appauvrit : les cas rares disparaissent en premier. En revanche, accumuler données réelles et synthétiques évite cet effondrement.
Source : Shumailov et al., AI models collapse… (Nature, 2024), Gerstgrasser et al., Is Model Collapse Inevitable? (2024)
Deuxième façon : laisser le savoir hors du modèle, rangé en étages, comme une bibliothèque (section, rayon, livre, page). Le modèle ne descend qu'aussi bas que nécessaire pour répondre.
Fig. 2 — Chercher en descendant
16 documents · 4 étapes
Établi
RETRO (DeepMind) puise dans une base de 2 000 milliards de jetons pendant qu'il écrit. Il égale GPT-3 avec 25 fois moins de paramètres.
Établi
RAPTOR regroupe les passages d'un texte, les résume, puis résume les résumés, jusqu'à former un arbre. Associé à GPT-4, il gagne 20 points de précision sur un test de questions difficiles (QuALITY).
Source : Sarthi et al., RAPTOR (ICLR 2024)
Établi
GraphRAG (Microsoft) relie les entités d'un corpus en graphe, le découpe en communautés emboîtées et résume chaque niveau. Pour les questions qui portent sur tout le corpus, il l'emporte sur la recherche classique dans 70 à 80 % des comparaisons. Contrepartie : l'indexation coûte cher au départ.
Prometteur
Les « couches mémoire » de Meta ajoutent des millions de paires clé-valeur consultées à la demande : plus de savoir sans plus de calcul. Sur les questions factuelles, la précision fait plus que doubler.
Prometteur
Les mémoires hiérarchiques récentes pour agents réduisent la recherche étage par étage : le coût croît à peu près comme le logarithme de la taille de la mémoire. Une théorie de 2026 montre que ces systèmes suivent tous le même schéma : regrouper, compresser, déplier au besoin.
Source : Talebirad et al., Toward a Theory of Hierarchical Memory (2026), Hsu et al., HORMA, Organize then Retrieve (2026)
Ce qui suit est notre propre raisonnement, pas un résultat publié. Le chiffre de confiance dit à quel point nous y croyons aujourd'hui ; il bougera.
H1
Si l'on donnait au modèle la structure des données (niveau, provenance, dépendances), il lui faudrait moins d'exemples pour la reconstruire.
Source : Allen-Zhu & Li, Physics of Language Models 3.3 (2024), Zhang et al., Beyond Random Sampling (EACL 2026)
H2
Puisque les paramètres sont rares (environ 2 bits chacun), réservons-les aux principes et aux façons de raisonner. Les faits et les détails vont dans une mémoire externe, rangée en étages.
Source : Borgeaud et al., RETRO (DeepMind, 2021), Berges et al., Memory Layers at Scale (Meta, 2024)
H3
Comme un physicien retient la loi et les cas qui la contredisent, on garderait les règles et seulement les données qui y échappent. Le reste se déduirait.
Source : Sorscher et al., Beyond neural scaling laws (NeurIPS 2022)
H4
Dans une boucle où chaque génération de modèle apprend du savoir compressé par la précédente, garder les données brutes rares empêcherait la dérive.
Source : Shumailov et al., AI models collapse… (Nature, 2024), Gerstgrasser et al., Is Model Collapse Inevitable? (2024)
H5
Le savoir réel est un réseau : une même idée appartient à plusieurs familles. La hiérarchie utile serait faite de plusieurs arbres qui se croisent.
Source : Edge et al., GraphRAG (Microsoft, 2024), Sarthi et al., RAPTOR (ICLR 2024)
Ce que nous pensons à ce stade. « Provisoire » est le mot important.
Bases externes, arbres de résumés, graphes de communautés : les gains sont mesurés et reproduits. C'est le côté le plus mûr de la question.
Source : Borgeaud et al., RETRO (DeepMind, 2021), Sarthi et al., RAPTOR (ICLR 2024), Edge et al., GraphRAG (Microsoft, 2024)
Ordonner les données aide un peu ; bien les choisir aide beaucoup plus. Entraîner un modèle sur une hiérarchie explicite reste presque inexploré : c'est là qu'il y a le plus à découvrir.
Source : Zhang et al., Beyond Random Sampling (EACL 2026), Elgaar & Amiri, Curriculum Learning for LLM Pretraining (2026), Gunasekar et al., Textbooks Are All You Need (2023)
Les principes dans les poids, les détails dans la mémoire. C'est l'hypothèse H2, celle vers laquelle convergent le plus d'indices.
Les hiérarchies écrites à la main, comme le projet Cyc lancé en 1984, n'ont jamais passé à l'échelle. La « leçon amère » de Richard Sutton : ce qui apprend seul finit par gagner. La hiérarchie doit donc être apprise, puis rendue visible, pas dictée.
Source : Richard Sutton, The Bitter Lesson (2019), Cyc (Wikipedia)
Fig. 3 — Le partage proposé
Dans le modèle
Dans la mémoire