Ordre strict
Trier du facile au difficile selon la diversité du vocabulaire donne +1,8 % de précision moyenne avec 17,9 % d'étapes en moins.
Approfondissement · Folio II
Apprendre dans l'ordre
Personne n'apprend à lire avec Proust. Pourtant, on entraîne les modèles en mélangeant tout au hasard. Que se passe-t-il si on leur présente les textes du plus simple au plus difficile ?
L'idée, simplement
Aujourd'hui, les milliards de textes d'entraînement sont mélangés au hasard, puis lus une seule fois. Un texte d'enfant peut suivre un article de mathématiques avancées.
Le curriculum learning (apprentissage par programme), proposé par Yoshua Bengio en 2009, part d'une intuition d'école : commencer par le facile, monter progressivement. C'est une hiérarchie dans le temps : on ne change pas les données, seulement l'ordre.
Comment on s'y prend
Il faut trois ingrédients. Une mesure de difficulté : une machine ne sait pas ce qui est « dur », il faut un indice calculable. Un rythme : passer d'un coup du facile au difficile, ou en pente douce. Un moment : ordonner tout l'entraînement, ou seulement le début.
L'étude de Zhang et ses coauteurs (EACL 2026) a passé au crible 15 mesures et en a gardé six. Les plus utiles : le taux de compression (un texte qui se compresse bien est répétitif, donc facile), la diversité du vocabulaire (MTLD) et la longueur du texte. La perplexité, c'est-à-dire la surprise du modèle, aide au début puis fait chuter les résultats : les textes « surprenants » sont souvent juste du bruit.
Source : Zhang et al., Beyond Random Sampling (EACL 2026)
Fig. A — Deux tapis roulants
Aléatoire
Ordonné
Schéma illustratif : il montre l'idée, pas des mesures.
Ce que montrent les expériences
Plus de 200 entraînements, surtout sur des modèles de 0,5 milliard de paramètres et 10 milliards de jetons, avec une vérification à 1 milliard de paramètres.
Une montée en pente douce
Avec un rythme linéaire, le taux de compression atteint le meilleur niveau de référence avec 39,5 % d'étapes en moins. En version entrelacée, le gain monte à 41,7 %.
S'échauffer, puis mélanger
Ordonner seulement le début, puis revenir au hasard, laisse une avance durable : jusqu'à +3,5 % à 0,5 milliard de paramètres et +3,2 % à 1 milliard.
C'est bien l'ordre qui compte
Contrôle décisif : mélanger au hasard les mêmes données « faciles » aide un peu, mais moins que les présenter dans l'ordre. Le gain ne vient donc pas seulement du tri.
Le contrepoint
Une autre étude (modèles de 14 à 410 millions de paramètres, 300 milliards de jetons) trouve que l'ordre stabilise surtout les petits modèles et que l'avantage s'amenuise avec la taille.
Source : Elgaar & Amiri, Curriculum Learning for LLM Pretraining (2026)
L'ordre inverse de l'industrie
Les laboratoires font souvent l'inverse d'un programme scolaire : ils gardent les meilleures données pour la fin. OLMo 2 (Ai2) consacre ses derniers 5 à 10 % de calcul à un mélange de haute qualité (maths, sciences, questions-réponses). C'est ce qu'on appelle le mid-training ou le « recuit ».
Mais même ce placement se discute : une étude de 2025 montre que la toute fin n'est pas toujours le meilleur moment, et explique pourquoi un recuit sur des exercices de maths avait aidé le modèle Llama 3 de 8 milliards de paramètres mais pas celui de 405 milliards. Le bon ordre dépend du moment de l'apprentissage, pas seulement des données.
Source : OLMo et al., 2 OLMo 2 Furious (Ai2, 2025), Predicting Training Re-evaluation Curves (2025)
Les limites
Ces résultats viennent de modèles de taille moyenne, en anglais seulement. La difficulté est calculée une fois pour toutes, avant l'entraînement : elle ne s'adapte pas à ce que le modèle sait déjà. Et les gains, réels, restent de quelques pourcents.
Ce que ça change pour nos hypothèses
C'est un appui modeste à l'hypothèse H1 : structurer les données aide, surtout au début. Mais la « difficulté » mesurée ici n'a qu'une dimension (court ou long, simple ou varié). Notre idée est plus riche : des niveaux d'abstraction (observation, fait, règle, principe). Personne, à notre connaissance, n'a encore ordonné un entraînement selon ces niveaux.
H1 · L'appétit de données vient en partie d'une hiérarchie absente (55 %)
Ce qu'on aimerait tester
Deux programmes opposés sur un mini-modèle : les exemples d'abord, la règle ensuite (comme un enfant), contre la règle d'abord, les exemples ensuite (comme un manuel). Et un programme qui s'adapte : on mesure ce que le modèle sait déjà et on lui donne la marche suivante.