Quaderno vivo · Codice n. 1
E se ordinassimo il sapere prima di impararlo?
Questo quaderno è la nostra lavagna. Vi annotiamo piste, ipotesi e conclusioni provvisorie su una domanda: come costruire l'IA in un altro modo, perché costi meno, consumi meno e sbagli meno. Primo cantiere: una gerarchia dei dati, per imparare e per consultare.
Oggi un modello si addestra su una «zuppa piatta»: migliaia di miliardi di parole, tutte allo stesso livello. Un messaggio buttato lì e un manuale di fisica pesano uguale. La nostra intuizione di partenza: parte dell'enorme fame di dati dell'IA serve a ricostruire una gerarchia che nessuno le fornisce.
Fig. 1 — La piramide del sapere
Accertato
Esperimenti controllati mostrano che un modello linguistico ben addestrato memorizza circa 2 bit di conoscenza per parametro, non di più. Ogni parametro è prezioso: riempirlo di dettagli ha un costo.
Fonte: Allen-Zhu & Li, Physics of Language Models 3.3 (2024)
Accertato
Nello stesso studio, quando 7 testi di addestramento su 8 sono rumore, la capacità di trattenere il sapere utile crolla fino a 20 volte. Aggiungere semplicemente il nome del sito d'origine davanti a ogni testo aiuta nettamente il modello a fare ordine. Un'etichetta di provenienza è già una piccola gerarchia.
Fonte: Allen-Zhu & Li, Physics of Language Models 3.3 (2024)
Primo modo di usare una gerarchia: ordinare e selezionare i dati di addestramento perché il modello impari più in fretta, con meno. Come uno studente che segue un buon manuale invece di una pila di appunti sparsi.
Accertato
phi-1 (1,3 miliardi di parametri), addestrato su dati «di qualità da manuale scolastico», ha battuto nella programmazione modelli 10 volte più grandi addestrati su 100 volte più dati.
Oltre 200 modelli addestrati presentando i dati dal facile al difficile raggiungono il livello di riferimento con il 18-45 % di passi in meno. Un «riscaldamento» ordinato, seguito da un ordine casuale, conserva fino al 3,5 % di vantaggio.
Accertato
Un altro studio del 2026 rileva che questi guadagni dipendono dalla dimensione: l'ordine stabilizza soprattutto i modelli piccoli. Nel complesso, i risultati pubblicati sull'apprendimento ordinato restano contrastanti.
Fonte: Elgaar & Amiri, Curriculum Learning for LLM Pretraining (2026)
Con una buona misura di ciò che merita di essere tenuto, l'errore può calare esponenzialmente con la dimensione dei dati conservati, invece di seguire la solita legge lenta. Dimostrato in teoria e, in pratica, su compiti di immagini.
Fonte: Sorscher et al., Beyond neural scaling laws (NeurIPS 2022)
I Large Concept Models di Meta ragionano frase per frase, in uno spazio di significato condiviso da 200 lingue: una gerarchia esplicita dalle parole alle idee. Per ora restano meno fluidi dei modelli classici.
Accertato
Addestrare un modello su ciò che ha prodotto il precedente, sostituendo i dati reali, lo impoverisce: i casi rari spariscono per primi. Invece, accumulare dati reali e sintetici evita questo collasso.
Fonte: Shumailov et al., AI models collapse… (Nature, 2024), Gerstgrasser et al., Is Model Collapse Inevitable? (2024)
Secondo modo: lasciare il sapere fuori dal modello, ordinato a piani come una biblioteca (sezione, scaffale, libro, pagina). Il modello scende solo fin dove serve per rispondere.
Fig. 2 — Cercare scendendo
16 documenti · 4 passi
Accertato
RETRO (DeepMind) attinge a una base di 2.000 miliardi di token mentre scrive. Eguaglia GPT-3 con 25 volte meno parametri.
Accertato
RAPTOR raggruppa i passaggi di un testo, li riassume, poi riassume i riassunti, fino a formare un albero. Abbinato a GPT-4, guadagna 20 punti di precisione su un test di domande difficili (QuALITY).
Accertato
GraphRAG (Microsoft) collega le entità di un corpus in un grafo, lo divide in comunità annidate e riassume ogni livello. Per le domande sull'intero corpus prevale sulla ricerca classica nel 70-80 % dei confronti. In cambio, l'indicizzazione costa cara all'inizio.
Promettente
I «livelli di memoria» di Meta aggiungono milioni di coppie chiave-valore consultate su richiesta: più sapere senza più calcolo. Sulle domande fattuali la precisione più che raddoppia.
Promettente
Le recenti memorie gerarchiche per agenti restringono la ricerca piano per piano: il costo cresce più o meno come il logaritmo della dimensione della memoria. Una teoria del 2026 mostra che questi sistemi seguono tutti lo stesso schema: raggruppare, comprimere, espandere quando serve.
Fonte: Talebirad et al., Toward a Theory of Hierarchical Memory (2026), Hsu et al., HORMA, Organize then Retrieve (2026)
Ciò che segue è un nostro ragionamento, non un risultato pubblicato. La cifra di fiducia dice quanto ci crediamo oggi; cambierà.
H1
Se dessimo al modello la struttura dei dati (livello, provenienza, dipendenze), gli servirebbero meno esempi per ricostruirla.
Fonte: Allen-Zhu & Li, Physics of Language Models 3.3 (2024), Zhang et al., Beyond Random Sampling (EACL 2026)
H2
Poiché i parametri sono scarsi (circa 2 bit ciascuno), riserviamoli ai principi e ai modi di ragionare. Fatti e dettagli vanno in una memoria esterna ordinata a piani.
Fonte: Borgeaud et al., RETRO (DeepMind, 2021), Berges et al., Memory Layers at Scale (Meta, 2024)
H3
Come un fisico ricorda la legge e i casi che la contraddicono, terremmo le regole e solo i dati che vi sfuggono. Il resto si dedurrebbe.
Fonte: Sorscher et al., Beyond neural scaling laws (NeurIPS 2022)
H4
In un ciclo in cui ogni generazione di modello impara dal sapere compresso dalla precedente, conservare i rari dati grezzi impedirebbe la deriva.
Fonte: Shumailov et al., AI models collapse… (Nature, 2024), Gerstgrasser et al., Is Model Collapse Inevitable? (2024)
H5
Il sapere reale è una rete: la stessa idea appartiene a più famiglie. La gerarchia utile sarebbe fatta di più alberi che si incrociano.
Fonte: Edge et al., GraphRAG (Microsoft, 2024), Sarthi et al., RAPTOR (ICLR 2024)
Ciò che pensiamo a questo punto. «Provvisorie» è la parola chiave.
Basi esterne, alberi di riassunti, grafi di comunità: i guadagni sono misurati e riprodotti. È il lato più maturo della questione.
Fonte: Borgeaud et al., RETRO (DeepMind, 2021), Sarthi et al., RAPTOR (ICLR 2024), Edge et al., GraphRAG (Microsoft, 2024)
Ordinare i dati aiuta un po'; sceglierli bene aiuta molto di più. Addestrare un modello su una gerarchia esplicita resta quasi inesplorato: è lì che c'è più da scoprire.
Fonte: Zhang et al., Beyond Random Sampling (EACL 2026), Elgaar & Amiri, Curriculum Learning for LLM Pretraining (2026), Gunasekar et al., Textbooks Are All You Need (2023)
I principi nei pesi, i dettagli nella memoria. È l'ipotesi H2, quella verso cui convergono più indizi.
Le gerarchie scritte a mano, come il progetto Cyc avviato nel 1984, non hanno mai retto la scala. La «lezione amara» di Richard Sutton: ciò che impara da solo finisce per vincere. La gerarchia va quindi appresa, poi resa visibile, non dettata.
Fonte: Richard Sutton, The Bitter Lesson (2019), Cyc (Wikipedia)
Fig. 3 — La divisione proposta
Nel modello
Nella memoria