Approfondimento · Folio II
Un modello classico legge il testo in piccoli pezzi tutti della stessa natura, tagliati in anticipo da un dizionario fisso. Noi leggiamo lettere, poi parole, poi idee. E se il modello costruisse da sé questi piani?
Prima dell'addestramento, uno strumento chiamato tokenizer taglia il testo in «token» secondo un dizionario fisso. Il modello non vede mai le lettere e non ragiona mai a un livello più alto di quei token: tutto avviene su un solo piano.
I lavori di questa pagina aggiungono piani e, soprattutto, lasciano che il modello decida da sé dove tagliare.
Immaginate una fabbrica con tre officine. Una piccola officina legge il testo lettera per lettera. Raggruppa le lettere in frammenti e passa questi pacchetti a una grande officina centrale, che svolge l'essenziale del ragionamento su una sequenza molto più corta. Un'ultima piccola officina srotola di nuovo il risultato lettera per lettera.
Il guadagno: l'officina centrale, la più costosa, lavora su meno elementi. E il taglio segue il contenuto: un passaggio prevedibile forma un frammento grande, uno difficile viene tagliato fine. Il calcolo va dove sta l'informazione.
Fig. C — Dalle lettere alle idee
Schema illustrativo: mostra l'idea, non misurazioni.
L'unità di pensiero diventa la frase intera, collocata in SONAR, uno spazio di significato condiviso da 200 lingue scritte e 76 parlate. Il modello prevede l'idea successiva, non la parola successiva. Supera un Llama 3.1 della stessa taglia nei riassunti multilingue, ma resta meno fluido.
Niente più dizionario: il modello legge byte e li raggruppa in «patch» di dimensione variabile, tagliate dove il seguito diventa imprevedibile. Per la prima volta eguaglia i modelli a token, fino a 8 miliardi di parametri e 4.000 miliardi di byte, e scala meglio a parità di costo di inferenza.
Fonte: Pagnoni et al., Byte Latent Transformer (Meta, ACL 2025)
Il taglio è interamente appreso, senza alcuna regola fornita. Da solo, il modello inventa frammenti di circa 4,5-5 byte, paragonabili ai token classici. Con due piani eguaglia un modello a token grande il doppio e guadagna quasi 4 volte in efficienza dei dati sul DNA.
È proprio la strada suggerita dalla nostra conclusione IV: una gerarchia appresa, non dettata. Il tokenizer era una regola scritta a mano; H-Net la sostituisce con l'apprendimento. È la «lezione amara» di Sutton applicata alla gerarchia stessa.
Ed è una pista di sobrietà: distribuendo il calcolo secondo la difficoltà, si spende meno su ciò che è prevedibile.
Queste architetture sono più complesse da addestrare: le sequenze hanno lunghezze variabili e ogni piano ha le sue impostazioni. Sono state provate fino a qualche miliardo di parametri, lontano dai modelli più grandi. I LCM inciampano ancora sulla fluidità e dipendono da uno spazio di significato fisso (SONAR) che non imparano da sé.
Sostegno a H1: dare (o lasciar costruire) una struttura esplicita rende l'apprendimento più efficiente, nettamente sul DNA, sul cinese e sul codice, dove il taglio classico funziona male. E un legame con H5: le «idee» di un LCM vivono in uno spazio continuo dove una frase è vicina a più famiglie, più simile a un grafo che a un albero.
H1 · La fame di dati nasce in parte da una gerarchia assente (55 %) H5 · Un grafo, non un albero (60 %)
Impilare un piano in più: dalle lettere ai frammenti (H-Net), dai frammenti alle idee (LCM), dalle idee alle regole. Il piano più alto diventerebbe la memoria compatta del modello, quella della nostra ipotesi H2.