Ordine rigido
Ordinare dal facile al difficile secondo la varietà del lessico dà +1,8 % di accuratezza media con il 17,9 % di passi in meno.
Approfondimento · Folio II
Imparare in ordine
Nessuno impara a leggere con Proust. Eppure i modelli si addestrano mescolando tutto a caso. Che succede se presentiamo loro i testi dal più semplice al più difficile?
L'idea, in breve
Oggi i miliardi di testi di addestramento vengono mescolati a caso e letti una sola volta. Un testo per bambini può seguire un articolo di matematica avanzata.
Il curriculum learning (apprendimento per programma), proposto da Yoshua Bengio nel 2009, parte da un'intuizione scolastica: cominciare dal facile e salire a poco a poco. È una gerarchia nel tempo: i dati non cambiano, cambia solo l'ordine.
Come si fa
Servono tre ingredienti. Una misura di difficoltà: una macchina non sa che cosa sia «difficile», serve un indice calcolabile. Un ritmo: passare di colpo dal facile al difficile, oppure salire per una pendenza dolce. Un momento: ordinare tutto l'addestramento o solo l'inizio.
Lo studio di Zhang e coautori (EACL 2026) ha passato al vaglio 15 misure e ne ha tenute sei. Le più utili: il tasso di compressione (un testo che si comprime bene è ripetitivo, quindi facile), la varietà del lessico (MTLD) e la lunghezza del testo. La perplessità, cioè la sorpresa del modello, aiuta all'inizio e poi fa crollare i risultati: i testi «sorprendenti» spesso sono solo rumore.
Fonte: Zhang et al., Beyond Random Sampling (EACL 2026)
Fig. A — Due nastri trasportatori
Casuale
Ordinato
Schema illustrativo: mostra l'idea, non misurazioni.
Cosa mostrano gli esperimenti
Oltre 200 addestramenti, soprattutto su modelli da 0,5 miliardi di parametri e 10 miliardi di token, con una verifica a 1 miliardo di parametri.
Una salita dolce
Con un ritmo lineare, il tasso di compressione raggiunge il miglior livello di riferimento con il 39,5 % di passi in meno. In versione intercalata il guadagno sale al 41,7 %.
Riscaldarsi, poi mescolare
Ordinare solo l'inizio e poi tornare al caso lascia un vantaggio duraturo: fino a +3,5 % con 0,5 miliardi di parametri e +3,2 % con 1 miliardo.
Conta proprio l'ordine
Controllo decisivo: mescolare a caso gli stessi dati «facili» aiuta un po', ma meno che presentarli in ordine. Il guadagno quindi non viene solo dalla selezione.
Il contrappunto
Un altro studio (modelli da 14 a 410 milioni di parametri, 300 miliardi di token) rileva che l'ordine stabilizza soprattutto i modelli piccoli e che il vantaggio si riduce con la dimensione.
Fonte: Elgaar & Amiri, Curriculum Learning for LLM Pretraining (2026)
L'ordine inverso dell'industria
I laboratori fanno spesso il contrario di un programma scolastico: tengono i dati migliori per la fine. OLMo 2 (Ai2) dedica l'ultimo 5-10 % di calcolo a un miscuglio di alta qualità (matematica, scienze, domande e risposte). Si chiama mid-training o «ricottura».
Ma anche questa collocazione è discussa: uno studio del 2025 mostra che la fine vera e propria non è sempre il momento migliore, e spiega perché una ricottura su esercizi di matematica aveva aiutato il Llama 3 da 8 miliardi di parametri ma non quello da 405 miliardi. L'ordine giusto dipende dal momento dell'apprendimento, non solo dai dati.
Fonte: OLMo et al., 2 OLMo 2 Furious (Ai2, 2025), Predicting Training Re-evaluation Curves (2025)
I limiti
Questi risultati vengono da modelli di taglia media, solo in inglese. La difficoltà è calcolata una volta per tutte, prima dell'addestramento: non si adatta a ciò che il modello sa già. E i guadagni, reali, restano di pochi punti percentuali.
Cosa cambia per le nostre ipotesi
È un sostegno modesto all'ipotesi H1: strutturare i dati aiuta, soprattutto all'inizio. Ma la «difficoltà» misurata qui ha una sola dimensione (corto o lungo, semplice o vario). La nostra idea è più ricca: livelli di astrazione (osservazione, fatto, regola, principio). Per quanto ne sappiamo, nessuno ha ancora ordinato un addestramento secondo questi livelli.
H1 · La fame di dati nasce in parte da una gerarchia assente (55 %)
Cosa vorremmo provare
Due programmi opposti su un mini-modello: prima gli esempi, poi la regola (come un bambino), contro prima la regola, poi gli esempi (come un manuale). E un programma adattivo: misurare ciò che il modello sa già e dargli il gradino successivo.