Approfondimento · Folio III
In un modello classico ogni parola attraversa tutti i «cassetti» della rete, anche quelli che non c'entrano nulla. E se aggiungessimo un immenso schedario in cui il modello apre solo le due o tre schede che gli servono?
Un modello linguistico conserva buona parte del suo sapere nei cosiddetti livelli feed-forward. Funzionano come una memoria, ma una memoria densa: ogni parola li attraversa per intero, e questo costa calcolo ogni volta.
Un livello di memoria sostituisce (o affianca) tutto ciò con una tabella gigante di coppie chiave → valore. Per ogni parola, il modello legge solo pochi valori. Si aggiungono così miliardi di parametri senza aggiungere calcolo, come una biblioteca che cresce senza che nessuno legga più libri.
Il problema: trovare la chiave migliore fra un milione richiederebbe di norma un milione di confronti. Il trucco delle chiavi prodotto (Lample e coautori, 2019): dividere la richiesta in due metà, confrontare ciascuna con un elenco di 1.000 semichiavi, poi incrociare le migliori. Si ottiene il risultato giusto fra 1.000 × 1.000 = un milione di caselle con soli 2.000 confronti.
Il modello legge poi pochi valori (una trentina, per esempio), ne fa una media ponderata e una «porta» decide quanta parte immetterne nel resto del calcolo.
Fonte: Lample et al., Large Memory Layers with Product Keys (NeurIPS 2019)
Fig. D — Trovare la scheda giusta senza aprirle tutte
Qui bastano 8 + 8 confronti per trovare la casella migliore fra 64. Con 1.000 + 1.000 confronti si sceglie fra un milione.
Schema illustrativo: mostra l'idea, non misurazioni.
Promettente
Fino a 128 miliardi di parametri di memoria, aggiunti a modelli di base fino a 8 miliardi, addestrati su 1.000 miliardi di token. I modelli con memoria battono modelli densi che usano più del doppio del calcolo, e i «mixture of experts» a parità di calcolo e di parametri. Il guadagno è più netto sulle domande fattuali.
Promettente
Una memoria consultata in tempo costante a partire dalle brevi sequenze di parole del testo. A parità di dimensione e calcolo, il modello da 27 miliardi guadagna +3 punti su MMLU, +5 nel ragionamento (BBH) e passa dall'84,2 % al 97 % in un test di ricerca in un testo lungo. La tabella da 100 miliardi di parametri può stare nella memoria ordinaria del computer, non in quella della GPU, scarsa e costosa, con meno del 3 % di perdita di velocità. Se la si disattiva, le conoscenze fattuali crollano (TriviaQA scende al 29 % del suo livello): i fatti sono custoditi lì.
Fonte: DeepSeek, Engram: Conditional Memory via Scalable Lookup (2026)
Promettente
Poiché ogni fatto usa solo poche caselle, si possono aggiornare soltanto quelle. Imparando fatti nuovi, un modello classico riaddestrato per intero perde l'89 % delle prestazioni su altre domande, e il 71 % con il metodo LoRA. Con l'aggiornamento mirato delle caselle di memoria: solo l'11 %, a parità di apprendimento.
Fonte: Lin et al., Continual Learning via Sparse Memory Finetuning (Meta, 2025)
Si delineano due famiglie di memoria. Le tabelle fisse (Memory Layers, UltraMem, Engram), apprese una volta per tutte. E le memorie che si scrivono durante la lettura, come Titans.
Titans conserva ciò che lo sorprende: è proprio l'idea della nostra ipotesi H4, in cui le eccezioni sono ciò che vale la pena ricordare. Una macchina che memorizza solo l'inatteso è una forma di compressione «regole + eccezioni».
H4 · Le eccezioni sono l'àncora (65 %)
Promettente
I «mixture of experts» (MoE) risparmiano calcolo, ma nell'uso devono andare a prendere molti parametri in memoria, e questo li rallenta. UltraMem (ByteDance, 20 milioni di caselle di memoria) è fino a 6 volte più veloce di un MoE di pari taglia e calcolo, riduce il costo d'uso fino all'83 % e gira quasi veloce quanto un modello denso. Aggiungere caselle non lo rallenta quasi per nulla.
Fonte: Huang et al., Ultra-Sparse Memory Network (ByteDance, ICLR 2025)
Promettente
In Google, la memoria a lungo termine è una piccola rete che modifica i propri pesi durante la lettura. Scrive ciò che la sorprende (misurato dall'ampiezza del suo errore) e dimentica a poco a poco il resto. L'attenzione classica fa da memoria breve. Risultato: contesti di oltre 2 milioni di token, con una ricerca dell'ago nel pagliaio migliore di quella di modelli più grandi.
Fonte: Behrouz et al., Titans: Learning to Memorize at Test Time (Google, 2025)
È la prova più diretta finora che si può separare il sapere dal ragionamento all'interno del modello stesso. Con Engram, togliere la memoria fa crollare i fatti ma non tutto il resto; e la memoria libera persino i primi livelli della rete per ragionare.
È anche una via di risparmio: la memoria può stare nella normale RAM, economica, e un aggiornamento tocca solo poche caselle invece di riaddestrare tutto il modello.
Leggere in una tabella gigante costa poco in calcolo ma molto in banda di memoria: è servita un'implementazione dedicata per renderlo efficiente. Le prove pubblicate arrivano a 8 miliardi di parametri di base in Meta e 27 miliardi in DeepSeek. E questa memoria resta interna e opaca: a differenza di una base esterna, non vi si può ancora leggere una fonte né citarla.
Un sostegno forte a H2 («imparare l'alto, consultare il basso»), che portiamo dal 70 al 75 % di fiducia. Con Engram, la ripartizione migliore è circa un quarto dei parametri in memoria e tre quarti in calcolo: una prima cifra concreta per il confine posto dalla nostra domanda aperta n. 3.
Un mini-modello con livello di memoria: insegnargli un elenco di fatti, poi correggerne uno solo toccando soltanto le sue caselle. Verificare che conservi la correzione e non dimentichi nient'altro, e vedere se le caselle di uno stesso argomento si raggruppano: sarebbe una gerarchia che emerge da sola.