Finora abbiamo studiato ogni pista da sola. Un'IA di domani però le userebbe insieme. Domanda semplice, risposta meno semplice: i risparmi si sommano, o si pestano i piedi?
Promettenteaggiornato il
I
L'idea, in breve
Immaginate la bottega di Leonardo. Per consegnare più quadri senza sfinirsi, può affidare il lavoro prima agli apprendisti (prima il modello piccolo), chiamare solo lo specialista utile (gli esperti), usare sagome invece di dipingere tutto a mano (i programmi), macinare meno pigmento (meno bit), cambiare attrezzi (la macchina), far ricontrollare dal maestro (la verifica) e tenere i suoi modelli in un taccuino invece che in testa (la memoria a parte).
Ogni trucco attacca una parte diversa del costo. Per questo si può sperare che si sommino. Ma si toccano anche: una sagoma non serve a nulla se nessuno controlla il risultato, e molti apprendisti occupano spazio in bottega. La figura passa in rassegna le 21 coppie.
Esperti × meno bit: gpt-oss tiene i suoi esperti a 4 bit e sta su una sola scheda grafica.
Meno bit × macchina: NorthPole esegue un modello linguistico a 4 bit, con i pesi tenuti sul chip.
Esperti × macchina: molti esperti vogliono dire molti pesi da ospitare, e i chip con memoria integrata ne hanno poca.
Meno bit × verificare: i ragionamenti lunghi accumulano errori di arrotondamento.
Schema illustrativo: mostra l'idea, non misurazioni.
Sette piste danno 21 coppie. Ogni casella dice se due piste si aiutano (+), si ostacolano (−), fanno entrambe le cose (±) o si ignorano (·). È una lettura dell'autore, basata sugli studi citati nel taccuino: pochi studi hanno provato due piste insieme, e quasi nessuno ha misurato la parte di ciascuna nel miscuglio.II
Il percorso di una domanda
Seguiamo una domanda attraverso un sistema che usasse tutte e sette le piste. 1. Uno smistatore la guarda. Se un programma sa già rispondere (un calcolo, una conversione), lo si chiama: è quasi gratis.
2. Altrimenti risponde un modello piccolo. È fatto di esperti di cui se ne accendono solo pochi, i suoi pesi sono a 4 bit e gira su un chip che tiene quei pesi vicino al calcolo. 3. Se gli serve un dato, lo cerca in una memoria invece di affidarsi ai pesi.
4. La sua risposta passa una verifica: test se è codice, altrimenti un modello più grande che conferma più parole in una volta. 5. Solo se la verifica fallisce, la domanda sale al modello grande. A ogni passo si paga il prezzo pieno solo quando serve.
III
Ciò che si somma
Quattro combinazioni funzionano già in sistemi reali. Il loro punto in comune: le due piste agiscono su fattori diversi, così l'una non si mangia il guadagno dell'altra.
Accertato
Esperti + meno bit: gpt-oss e Kimi K2 Thinking
Gli esperti riducono la parte del modello che calcola; i 4 bit riducono la dimensione di ogni peso. Le due cose si sommano: gpt-oss accende solo 5,1 miliardi dei suoi 117 miliardi di parametri e tiene i suoi esperti a 4 bit, abbastanza per stare su una sola GPU da 80 GB. Kimi K2 Thinking fa lo stesso alla scala di mille miliardi di parametri e genera circa due volte più in fretta.
Un chip che tiene i pesi sul posto ha poca memoria; i pesi a 4 bit occupano un quarto dello spazio di quelli a 16 bit. Così IBM ha eseguito un modello da 3 miliardi di parametri su 16 schede NorthPole, a meno di un millisecondo per parola. Senza la compressione, il modello non sarebbe entrato nei chip.
Un programma si verifica facilmente: lo si esegue e si misura. È questo che permette di lasciare che un modello ne proponga migliaia e di tenere solo i migliori. AlphaEvolve ne ha ricavato una moltiplicazione di matrici più corta e lo 0,7 % di calcolo recuperato da Google; ShinkaEvolve batte un record in 150 tentativi.
Prima il modello piccolo + verifica: la decodifica speculativa
La cascata più riuscita è anche una verifica: un modello piccolo propone più parole e quello grande le controlla in un solo passaggio. Il testo finale è esattamente quello del modello grande, ma esce da 2 a 3 volte più in fretta, e fino a 6,5 volte con EAGLE-3.
Tre attriti ricorrono negli studi. Compaiono quando due piste tirano sulla stessa risorsa: la memoria, la precisione, o la fiducia che si può dare al giudice.
Promettente
Molti esperti contro poca memoria
Un modello a esperti ne accende solo pochi, ma deve tenerli tutti a portata di mano. I chip veloci con memoria integrata ne hanno pochissima: Taalas incide un modello da 8 miliardi di parametri, non uno da mille miliardi. Le leggi di scala congiunte attenuano il conflitto senza risolverlo: il numero giusto di esperti dipende dalla memoria disponibile.
Ogni parola scritta si appoggia alle precedenti, quindi un piccolo errore di arrotondamento può propagarsi. I modelli che ragionano a lungo ne risentono di più: Moonshot AI spiega di aver dovuto imparare i 4 bit durante l'addestramento di Kimi K2 Thinking. E i modelli addestrati molto bene, quelli che vorremmo più comprimere, sono i più fragili.
Una cascata vale quanto il suo giudice. Uno smistatore può essere ingannato apposta per mandare tutto al modello costoso, e a parità di regole molti smistatori battono a malapena la strategia più semplice. Più piani si impilano, più giudici affidabili servono, e ogni giudice è una porta in più per un attacco.
Sulla carta è allettante: se ogni pista dividesse il costo per 2, sette piste lo dividerebbero per 2⁷ = 128. È lo spirito della nostra ipotesi H6, che stimiamo al 35 %.
Ma una regola semplice, la legge di Amdahl, raffredda l'entusiasmo: accelerare una parte del lavoro aiuta solo per quella parte. Esempio puramente illustrativo: se il modello grande vale metà del costo totale e lo si rende dieci volte meno caro, il costo totale non cala del 90 % ma del 45 %. Si passa da 100 a 50 + 5 = 55.
I guadagni si moltiplicano dunque quando le piste mirano a parti diverse del costo (esperti e bit), e si sovrappongono quando mirano alla stessa: una cascata che evita il modello grande fa risparmiare meno se quel modello è già diventato economico grazie agli esperti. La nostra lettura: combinare rende molto più di una pista sola, ma nettamente meno del prodotto dei guadagni presi uno per uno. Nessuno l'ha ancora misurato come si deve.
La matrice è una lettura, non una misura. Si basa su studi che quasi sempre provano una pista alla volta. I sistemi che ne combinano più d'una, come gpt-oss o Kimi K2, non pubblicano ciò che ogni pista apporta al miscuglio.
Lascia fuori anche due costi molto reali: la complessità (ogni pista aggiunta è un pezzo in più che può rompersi) e il raggruppamento delle richieste. Un server è efficiente quando tratta molte domande simili insieme; ogni smistamento, ogni profondità variabile, rompe un po' questi gruppi.
VII
Come metterla alla prova
Un esperimento semplice chiarirebbe la questione: prendere un modello aperto e aggiungere le piste una alla volta, in più ordini, misurando ogni volta il costo per risposta giusta sullo stesso banco di prova.
Se i guadagni si moltiplicano, l'ordine non conta e l'ultima aggiunta rende quanto la prima. Se si sovrappongono, ogni aggiunta rende meno della precedente. Questa curva direbbe meglio di qualunque tabella da quale pista cominciare.