Approfondimento · Folio IV
Il tuo cervello non attiva tutti i suoi neuroni per leggere una parola. I modelli classici sì: ogni parametro lavora su ogni parola. Una nuova generazione sveglia solo la parte che serve.
Un modello classico («denso») è come un'azienda in cui ogni dipendente legge ogni lettera. Una miscela di esperti sostituisce un grande blocco con molti specialisti più piccoli e uno smistatore che affida ogni parola a pochi di loro.
La scommessa: il modello può sapere molto (molti parametri) e intanto calcolare poco per ogni parola (pochi parametri attivi). Dimensione totale e costo per parola diventano due manopole separate.
A ogni strato, una piccola rete, lo smistatore, dà un punteggio a ciascun esperto per la parola corrente e tiene i migliori. Solo quelli calcolano. La difficoltà è l'equilibrio: se lo smistatore sceglie sempre gli stessi, gli altri non imparano mai e parte dell'hardware resta ferma.
DeepSeek-V3 (dicembre 2024) ha 256 esperti specializzati più uno condiviso per strato, e ne attiva 8 per parola: 37 miliardi di parametri attivi su 671 miliardi. Bilancia il carico senza la solita penalità, alzando un po' il punteggio degli esperti poco usati e abbassando quello dei sovraccarichi.
Fonte: DeepSeek-AI, DeepSeek-V3 Technical Report (2024)
Fig. F — Due esperti su sedici
2 / 16 esperti accesi · 12,5 % dello strato
Schema illustrativo: mostra l'idea, non misurazioni.
Accertato
671 miliardi di parametri, 5,5 % attivi per parola. L'addestramento completo ha richiesto 2,788 milioni di ore di GPU H800, un budget modesto per il suo livello, e il modello compete con i migliori modelli chiusi di fine 2024 in molti test.
Promettente
Invece di scegliere tra esperti, ogni strato sceglie quali parole elaborare; le altre passano oltre. I modelli addestrati così a Google DeepMind eguagliano un modello standard con fino al 50 % di operazioni in meno per passaggio, e generano fino al 50 % più in fretta.
Promettente
Uno stesso blocco di strati viene applicato più volte, come quando si rilegge una frase difficile, e uno smistatore decide quanti passaggi riceve ogni parola. Da 135 milioni a 1,7 miliardi di parametri, batte i modelli standard a parità di calcolo, con meno parametri (NeurIPS 2025).
La memoria non si restringe: i 671 miliardi di parametri vanno comunque conservati, spesso distribuiti su molti chip. Si risparmia calcolo, non spazio, e le parole viaggiano tra le macchine. Raggruppare le richieste diventa più difficile: quando ogni parola segue un percorso diverso, servire molti utenti insieme, cosa che rende efficienti i server, funziona peggio; Mixture-of-Depths brilla soprattutto una richiesta alla volta. Un addestramento fragile: gli smistatori possono collassare su pochi esperti.
È il primo fattore di H6: la parte del modello che lavora per ogni parola. Fa anche eco alla nostra gerarchia. Gli esperti dividono il sapere in orizzontale (per specialità), la nostra piramide lo divide in verticale (per livello di astrazione). Le due cose potrebbero combinarsi: esperti per i principi, una memoria per i dettagli.
Guardare dentro un modello aperto a esperti e verificare, sugli articoli di OrigoTech, se i suoi esperti si specializzano per tema (economia, IA, salute) o per forma (punteggiatura, cifre, grammatica). Se è soprattutto la forma, gli esperti non ordinano il sapere come una biblioteca, e la nostra gerarchia verticale resta da costruire.