L'IA di domani Glossario
IT

← Torna al quaderno

Approfondimento · Folio V

Tradurre un modello e tenere solo il necessario?

L'idea di partenza: e se un traduttore riscrivesse il modello in un linguaggio nuovo, per un harness nuovo, tenendo solo il necessario? Mescola tre cose di difficoltà molto diversa: tradurre senza perdere nulla, tagliare ciò che non serve e riscrivere la rete come vero codice. Ecco cosa può dare ciascuna, perché la seconda urta contro un fenomeno chiamato sovrapposizione, quanto farebbe risparmiare un traduttore ibrido e cosa ha mostrato l'esperimento fatto proprio qui.

Promettente aggiornato il

I

L'idea, in breve

Pensate a un libro di cucina di mille pagine scritto in latino. Voi volete fare solo dolci. Un buon traduttore potrebbe fare tre cose sempre più audaci. Uno: tradurre tutto il libro in italiano, senza tagliare nulla. Leggete più in fretta, non si perde niente. Due: tradurre solo il capitolo dei dolci. Il libro si assottiglia, ma se un dolce dice «pasta frolla, vedi pagina 212», siete bloccati. Tre: sostituire le ricette che seguono una regola con una formula («1 uovo ogni 100 g di farina») e tenere il testo solo per le eccezioni.

Per un modello di IA è lo stesso. Il «linguaggio» è la forma in cui è scritto il modello; l'harness è il programma che lo fa girare (come llama.cpp su un computer qualunque); il traduttore è lo strumento che passa dall'uno all'altro ottimizzando strada facendo.

II

Tre livelli, dal certo al sogno

I tre livelli non si somigliano affatto in difficoltà. Il primo esiste già ovunque, il secondo funziona a metà, il terzo esiste solo sui giocattoli.

Accertato

Livello 1 · Tradurre senza perdere nulla: la compilazione

È ciò che fa un compilatore: lo stesso calcolo, eseguito in modo più efficiente. Fondere operazioni, arrotondare i pesi su meno bit, adattare il calcolo al chip. Si guadagna comunemente da 1,5 a 3 volte, senza cambiare le risposte (o quasi, con la bassa precisione). Alcuni chip accelerano perfino i pesi nulli se seguono uno schema regolare: due zeri ogni quattro, per un calcolo fino a due volte più rapido.

Fonte: Mishra et al., Accelerating Sparse Deep Neural Networks (NVIDIA, 2021)

Accertato

Livello 2 · Tenere solo il necessario: la potatura

SparseGPT azzera metà dei pesi dei più grandi modelli aperti in un solo passaggio, con una perdita di qualità quasi invisibile. Wanda fa altrettanto bene con una regola ancora più semplice: un peso conta se è grande e riceve segnali forti. Questi metodi mirano a un modello generale. Per un compito stretto, si spera di tagliare molto di più. È lì che comincia la difficoltà.

Fonte: Frantar & Alistarh, SparseGPT: Massive Language Models Can Be Accurately Pruned in One-Shot (ICML 2023), Sun et al., A Simple and Effective Pruning Approach for Large Language Models (Wanda, ICLR 2024)

Speculativo

Livello 3 · Riscrivere la rete come vero codice: la decompilazione

Il senso inverso funziona già: Tracr, da DeepMind, compila un piccolo programma in pesi di transformer. E si sa addestrare piccoli transformer in modo che si possano riconvertire in programmi Python leggibili. Ma leggere un modello da 8 miliardi di parametri e tirarne fuori del codice, nessuno ci riesce. Il motivo ha un nome.

Fonte: Lindner et al., Tracr: Compiled Transformers as a Laboratory for Interpretability (NeurIPS 2023), Friedman et al., Learning Transformer Programs (NeurIPS 2023)

III

L'ostacolo: la sovrapposizione

Immaginiamo una rete come un cassettone: un cassetto per la chimica, uno per la grammatica, uno per l'addizione. Basterebbe tenere i cassetti giusti. Non funziona così.

Una rete ha meno neuroni delle nozioni da rappresentare. Le sovrappone: ogni neurone partecipa a decine di nozioni insieme, ogni nozione è distribuita su decine di neuroni, come voci mescolate in un coro. Elhage e coautori, da Anthropic, lo hanno mostrato su modelli giocattolo: appena le nozioni sono rare, la rete ne conserva molte più delle dimensioni che ha.

Conseguenza diretta per il nostro traduttore: un peso «inutile» per il compito scelto può portare un pezzo di un'altra competenza da cui il compito dipende senza mostrarlo. E non si sa mai in anticipo cosa chiederà domani l'utente. Tagliare secondo il compito è quindi una scommessa: si vince molto se le domande restano nella corsia prevista, si perde se ne escono.

Fonte: Elhage et al., Toy Models of Superposition (Anthropic, 2022)

IV

La soluzione realistica: un traduttore ibrido

Invece di scegliere tra tenere tutto e tagliare tutto, il traduttore farebbe tre mucchi. Ciò che segue una regola (calcolo, date, formati, conversioni) diventa codice: esatto, quasi gratuito e valido anche oltre gli esempi visti. Ciò che è sfumato (il linguaggio, le sfumature, il buon senso) resta rete, in uno specialista potato per il compito. Ciò che esce dalla corsia torna al modello completo: è l'uscita di sicurezza.

È l'incontro di due idee del taccuino: H3, «regole + eccezioni = compressione» dove si può verificare, e la cascata, in cui un modello piccolo passa la mano quando dubita. Il traduttore non è una pista nuova: è lo strumento che le mette insieme.

V

Il calcolo: quando conviene il traduttore?

Fissiamo tre numeri. p, la quota di domande che sappiamo mandare al codice: diciamo il 20 %. s, il costo dello specialista potato, come frazione del modello completo. f, il tasso di richiami: la quota di domande in cui lo specialista dubita e richiama il modello completo. Quando richiama, si pagano entrambi.

Il costo medio di una domanda vale allora (1 − p) × (s + f). Con uno specialista al 50 % e il 10 % di richiami: 0,8 × (0,5 + 0,1) = 0,48, il costo è diviso per 2,1. Aggiungiamo il livello 1, una compilazione che guadagna 1,5 volte: 0,48 ÷ 1,5 = 0,32, cioè un terzo del costo di partenza.

Dov'è il limite? Il guadagno sparisce quando (1 − p) × (s + f) arriva a 1. Con s = 0,5, servono f = 1 ÷ 0,8 − 0,5 = 75 % di richiami per perdere tutto: il sistema è robusto. Ma per dividere per 2 serve f ≤ 0,5 ÷ 0,8 − 0,5 = 12,5 %. Con uno specialista al 30 %, il margine sale al 32,5 %; con uno specialista al 70 %, dividere per 2 diventa impossibile. Tenete a mente la lezione della figura: ciò che conta di più non è la taglia dello specialista, è che sappia riconoscere ciò che non sa.

Fig. P — Quanto costa un traduttore ibrido

Specialista al 30 % del costo: ÷ 2 finché i richiami restano sotto il 32,5 %Specialista al 50 % del costo: ÷ 2 finché i richiami restano sotto il 12,5 %Specialista al 70 % del costo: mai diviso per 2

Schema illustrativo: mostra l'idea, non misurazioni.

Un calcolo, non una misura. Il 20 % delle domande va al codice, che non costa quasi nulla. L'altro 80 % va a uno specialista potato; quando dubita, richiama il modello completo e si pagano entrambi. Costo = 0,8 × (costo dello specialista + tasso di richiami). Lo specialista non deve essere perfetto: soprattutto deve sapere quando non sa.
VI

H10, nata già scomposta in anelli

Come promesso nella pagina «Le ipotesi alla prova», ogni nuova ipotesi arriva scomposta in anelli. Ecco H10: un traduttore può riscrivere un modello per un harness nuovo e tagliarlo su misura per un compito, dividendo il costo almeno per 2 senza perdite visibili su quel compito.

Anello a, 95 %: la traduzione senza perdite e la compilazione funzionano; è così già oggi. Anello b, 65 %: dato questo, tagliare secondo il compito, con un'uscita di sicurezza, divide il costo almeno per 2 senza perdite visibili. Questo anello dipende dalla sovrapposizione e dal tasso di richiami. Calcolo: 0,95 × 0,65 = 62 %.

La forma ambiziosa aggiunge un anello c, 20 %: una parte importante di un grande modello si lascia riscrivere come vero codice. Varrebbe solo 0,95 × 0,65 × 0,2 ≈ 12 %. La teniamo come domanda, non come ipotesi.

VII

L'esperimento, fatto qui, e le nostre previsioni

Non abbiamo una scheda grafica, solo due core di processore. Abbiamo quindi fatto l'esperimento in miniatura, ma per davvero: un piccolo transformer da 0,8 milioni di parametri, addestrato qui su due compiti mescolati. A, una regola: addizioni a due cifre, il 20 % tenuto da parte per il test. B, un lessico con eccezioni: i plurali di 600 parole inventate, l'80 % regolari (+ s), il 20 % irregolari da imparare a memoria, più 150 parole nuove mai viste.

Poi i tre livelli. Livello 1: un harness scritto a parte, in NumPy, rilegge i pesi, a 32 e poi a 8 bit. Livello 2: potatura Wanda calibrata sul solo compito A, dal 25 al 90 % dei pesi, poi rimozione di neuroni interi. Livello 3: cerchiamo, in base al comportamento del modello, il programma semplice che riproduce ogni compito; ciò che il programma non spiega diventa una tabella di eccezioni.

Le nostre previsioni sono state registrate nel repository prima della prima esecuzione, perché ci si possa dare torto. Le principali: l'harness NumPy dà almeno il 99,9 % di risposte identiche; al 50 % di potatura, l'addizione conserva almeno il 95 % della sua precisione; oltre il 70 %, il lessico soffre più dell'addizione; il programma «a + b» riproduce almeno il 99 % delle risposte del modello; la regola «+ s» ne riproduce l'80 % ± 5; e sulle addizioni a tre cifre, mai viste, il modello sbaglia quasi sempre mentre il codice indovina tutto.

VIII

I risultati: sette previsioni su otto

Il modello (805 929 parametri) ha imparato in 20 minuti su due core. All'inizio: 100 % sulle addizioni mai viste, 100 % sulle 600 parole imparate, ma solo 83,3 % sulle 150 parole nuove, quando bastava aggiungere una «s»: la rete ha colto la regola, ma non perfettamente. E 0 % sulle addizioni a tre cifre: non ha capito l'addizione in generale, solo quella che ha visto.

Accertato

Livello 1 · Tradurre: regge, ma non è più veloce

L'harness NumPy, scritto a parte, dà il 100 % di risposte identiche. A 8 bit, il 99,96 % delle risposte resta identico e la precisione non si sposta di un decimo di punto, per una dimensione divisa per 3,7 (3,2 MB → 0,87 MB). Ma il nostro harness, semplice e non ottimizzato, è 7,7 volte più lento di PyTorch: tradurre non rende veloci per magia; il guadagno viene dal lavoro del compilatore.

Promettente

Livello 2 · Potare: una previsione mancata, una lezione chiara

Con il 50 % dei pesi tolti in base all'addizione, questa conserva il 93,5 %: avevamo previsto almeno il 95 %, quindi è mancata, di poco. Al 60 %, l'addizione scende al 71,9 % e il lessico al 45,2 %; al 70 %, 18,2 % contro 3,0 %: ciò che sembrava inutile all'addizione reggeva il lessico, come previsto. Calibrando sul lessico succede il contrario: al 70 %, conserva il 39,5 % mentre l'addizione scende al 5,5 %. Togliere metà dei neuroni degli strati MLP scelti in base all'addizione le lascia il 95,9 % e fa perdere 22 punti al lessico.

Promettente

Livello 3 · Decompilare: la sorpresa

Il programma «a + b» riproduce il 99,99 % delle 10 000 risposte del modello (una sola differenza). La regola «+ s» ne riproduce l'80,17 %, e la tabella delle eccezioni conta 119 parole: 119 dei 120 irregolari, l'ultimo coincide per caso con una «s». Il modello ibrido fa 100 % ovunque, anche dove la rete falliva: 100 % sulle parole nuove (contro 83,3 %) e 100 % sulle addizioni a tre cifre (contro 0 %). Per questi due compiti, due righe di codice e una tabella di 1071 byte sostituiscono un modello da 3,2 MB.

IX

Cosa cambia l'esperimento

Sette previsioni su otto reggono; quella che cade riguardava la potatura, per 1,5 punti. Il dubbio ha cambiato posto. La potatura da sola delude: anche in un modello minuscolo con compiti ben separati, togliere metà dei pesi costa già qualche punto, e il vantaggio dello specialista compare solo a tassi in cui crolla anche il compito scelto. È la sovrapposizione, misurata.

Al contrario, l'estrazione di regole sorprende: il codice non si limita a imitare la rete, la supera dove la rete generalizzava male. Una rete impara una regola più o meno; una volta scritta, la regola vale ovunque. È l'argomento più forte a favore del traduttore ibrido.

Bisogna spostare H10? Secondo le nostre regole, un numero cambia solo se cambia un anello. E un modello giocattolo da 0,8 milioni di parametri non dice quasi nulla di uno da 8 miliardi: lasciamo H10 al 62 %, annotando in che direzione puntano gli indizi. Nell'anello b, la via «tagliare» pesa meno e la via «trasformare in codice» pesa di più. Il passo successivo sarebbe lo stesso esperimento su un vero piccolo modello linguistico, con domande mescolate.

X

Seconda manche: un vero piccolo modello linguistico

Il giocattolo non bastava. Abbiamo rifatto l'esperimento su SmolLM2-135M, un vero modello linguistico da 135 milioni di parametri, su un computer personale che poteva scaricarlo. Tre domini: codice Python, prosa (WikiText-2) e 200 addizioni a due cifre poste dopo tre esempi. Sette previsioni, registrate nel repository prima del lancio. Il calcolo ha richiesto sei minuti.

All'inizio, il modello prevede bene il codice (perplessità 5,1: in media esita tra cinque parole), meno bene la prosa (20,5), e risolve solo il 14 % delle addizioni. Il codice, invece, ne risolve il 100 %.

Fonte: Frantar & Alistarh, SparseGPT: Massive Language Models Can Be Accurately Pruned in One-Shot (ICML 2023), Sun et al., A Simple and Effective Pruning Approach for Large Language Models (Wanda, ICLR 2024)

Accertato

Tradurre a 8 bit: quasi senza perdite, ma una previsione mancata

La perplessità si sposta dello 0,4 % sul codice e dello 0,5 % sulla prosa; la dimensione passa da 538 a 220 MB (÷ 2,45, il vocabolario resta a 32 bit). Ma solo l'85,5 % delle risposte alle addizioni resta identico: avevamo previsto almeno il 95 %. Sulle domande in cui il modello esita, un arrotondamento minuscolo basta a far cambiare la risposta.

Promettente

Potare: lo specialista esiste, ma costa caro

Al 50 % in base al codice, la perplessità del codice aumenta del 56 % (previsto: almeno il 20 %) e quella della prosa si moltiplica per 2,6; l'addizione scende allo 0 %. Calibrare su un dominio protegge bene quel dominio: il codice se la cava meglio potato in base al codice (7,9) che alla prosa (10,3), e la prosa meglio in base alla prosa (44) che al codice (52). Ma la nostra previsione «calibrato sulla prosa, soffre di più il codice» fallisce al 50 e al 60 %: la prosa è un dominio così ampio che uno specialista della prosa resta un generalista.

Promettente

Sapere quando non si sa: il segnale c'è, il margine no

Per riportare lo specialista potato al 50 % entro il 5 % della perdita del modello completo sul codice, bisogna richiamare il modello completo per il 76,6 % dei brani fidandosi del dubbio dello specialista, contro l'83,3 % a caso e il 73,4 % con una bussola perfetta. Il dubbio è quindi una buona guida, quasi quanto la bussola perfetta. Ma bisogna comunque richiamare tre volte su quattro: avevamo previsto al massimo il 60 %.

XI

Cosa cambia la seconda manche

Quattro previsioni su sette reggono. Le tre che cadono raccontano la stessa storia: un modello piccolo non ha riserve. Arrotondarlo lo fa esitare, potarlo lo danneggia ovunque, e persino uno specialista che sa quando dubita deve passare la mano quasi sempre.

Rifacciamo la Fig. P con i numeri veri. Uno specialista al 50 % del costo che richiama il modello completo il 77 % delle volte costa 0,8 × (0,5 + 0,77) ≈ 1,01: più caro che non fare nulla. A questa taglia, la via «tagliare» non rende nulla. La via «trasformare in codice», invece, regge: dal 14 % al 100 % sull'addizione.

Stavolta un anello si sposta, come esigono le nostre regole: l'anello b passa dal 65 % al 55 %, e H10 dal 62 % a 0,95 × 0,55 ≈ 52 %. Non lo abbassiamo di più, perché i modelli grandi si potano molto meglio di quelli piccoli: è ciò che mostrano SparseGPT e Wanda. La domanda decisiva diventa quindi: da quale taglia uno specialista potato rende più di quanto costa? Sarà la terza manche.

XII

Terzo round: e se il modello fosse più grande?

Il secondo round lasciava una domanda: lo specialista potato è condannato o solo troppo piccolo? Abbiamo preso tre modelli della stessa famiglia, SmolLM2 da 135 milioni, 360 milioni e 1,7 miliardi di parametri, e lo stesso protocollo per tutti e tre: codice, prosa, addizioni, potatura al 25 e al 50 %, misura del dubbio. Sette previsioni, registrate prima del lancio. Il tutto ha richiesto un quarto d'ora sul chip grafico di un Mac. Il modello da 135 milioni, rimisurato, ridà quasi la stessa cifra del round precedente (77,1 % di richiami contro 76,6 %): la misura è riproducibile.

In partenza, la dimensione cambia tutto per l'addizione: 14 %, poi 87,5 %, poi 95 % di successo. Il codice fa sempre il 100 %. A 8 bit, le risposte restano identiche nell'85,5 %, nel 98 % e nel 99 % dei casi: più il modello è grande, meno l'arrotondamento lo fa esitare.

Fonte: Frantar & Alistarh, SparseGPT: Massive Language Models Can Be Accurately Pruned in One-Shot (ICML 2023), Sun et al., A Simple and Effective Pruning Approach for Large Language Models (Wanda, ICLR 2024), Mishra et al., Accelerating Sparse Deep Neural Networks (NVIDIA, 2021)

Accertato

Potare al 50 %: i grandi modelli incassano meglio

Calibrata sul codice, la potatura moltiplica la perplessità del codice per 1,53, poi 1,29, poi 1,22: il calo con la dimensione è netto, come previsto. Il modello da 1,7 miliardi conserva perfino l'85,5 % di successo nelle addizioni con metà dei pesi, mentre il piccolo scendeva allo 0 %.

Promettente

Il dubbio: il tasso di richiamo scende, ma non abbastanza in fretta

Per restare entro il 5 % del modello completo sul codice, lo specialista potato al 50 % deve richiamare il modello completo per il 77,1 %, poi il 68,8 %, poi il 62,5 % degli estratti. A caso ne servirebbero l'82,6, il 75,1 e il 72,5 %: il dubbio resta una buona guida a ogni dimensione. Avevamo previsto al massimo il 60 % per 1,7 miliardi: mancato di 2,5 punti. Il costo ideale passa da 1,02 a 0,95 poi a 0,90: sotto 1, quindi conveniente, ma di poco.

Promettente

Potare al 25 %: quasi gratis, a ogni dimensione

La vera sorpresa viene dal tasso più dolce. Al 25 %, lo specialista resta entro il 5 % del modello completo sul codice senza alcun richiamo, a tutte e tre le dimensioni. Costo ideale: 0,8 × (0,75 + 0) = 0,6, cioè un costo diviso per 1,67. Il codice perde solo il 2-3 % di perplessità, la prosa il 6-8 %: la corsia del compito è protetta, il resto un po' meno.

XIII

Cosa cambia il terzo round

Sei previsioni su sette reggono; quella che cade riguardava il tasso di richiamo del modello più grande, per 2,5 punti. Una sola sfumatura: la nostra previsione «il dubbio batte il caso a ogni tasso» non si pone al 25 %, perché lì non serve alcun richiamo.

Prolunghiamo la tendenza, con prudenza: ci sono solo tre punti. Il tasso di richiamo al 50 % scende di circa 13 punti ogni volta che il modello cresce di 10 volte. Per un modello da 8 miliardi, darebbe circa il 53 % di richiami e un costo ideale di 0,83. Per scendere al 12,5 %, la soglia che dimezzerebbe il costo, servirebbe un modello dell'ordine di 10 000 miliardi di parametri. Conclusione: al 50 %, la sola potatura non dimezzerà mai il costo entro la nostra tolleranza del 5 %.

La strada buona si disegna altrimenti: potare con delicatezza (25 %, nessun richiamo, costo 0,6), compilare (× 1,5: 0,6 ÷ 1,5 = 0,4) e passare in codice ciò che segue una regola. Sulla carta, il costo si divide per 2,5. Una riserva importante: l'unico schema di potatura che i chip attuali accelerano davvero, due zeri su quattro, corrisponde proprio al 50 %, il tasso costoso. La potatura al 25 % rende solo se il chip sa sfruttarla.

L'anello b risale quindi dal 55 % al 60 %, e H10 dal 52 % al 0,95 × 0,60 = 57 %. La prossima domanda non è più «a partire da quale dimensione?», ma «su quale chip una potatura al 25 % diventa davvero più veloce?».

XIV

Quarto round: tagliare neuroni interi, cronometro alla mano

Il costo di 0,6 del terzo round era «ideale»: supponeva che il chip sfrutti i pesi messi a zero. Ma gli zeri sparsi in una matrice della stessa dimensione si calcolano come qualsiasi altro numero. Questa volta abbiamo tolto neuroni interi dai blocchi MLP di ogni modello, il 12,5 %, il 25 % o il 50 %: le matrici si rimpiccioliscono davvero, su qualsiasi chip. E abbiamo cronometrato il risultato sul chip grafico di un Mac, invece di calcolarlo. Nove previsioni, registrate prima del lancio.

Il testimone conferma il punto di partenza: con il 25 % di zeri sparsi, il modello impiega esattamente lo stesso tempo del modello completo, a meno dello 0,4 %, a tutte e tre le dimensioni. Gli zeri non fanno guadagnare nulla su questo chip.

Fonte: Ma et al., LLM-Pruner: On the Structural Pruning of Large Language Models (NeurIPS 2023), Xia et al., Sheared LLaMA: Accelerating Language Model Pre-training via Structured Pruning (ICLR 2024)

Accertato

Il tempo guadagnato segue quasi esattamente i pesi tolti

Togliere neuroni interi accelera davvero. Per il modello da 1,7 miliardi, il tempo di lettura scende a 0,91, 0,84 e poi 0,69 volte quello del modello completo, togliendo il 12,5, il 25 e poi il 50 % dei neuroni MLP. Il modello conserva allora il 91, l'82 e il 65 % dei pesi: il tempo segue quasi esattamente la dimensione. I modelli piccoli guadagnano un po' meno, perché i loro blocchi MLP pesano meno sul totale. La generazione parola per parola guadagna quanto la lettura.

Accertato

Ma il taglio netto fa più danni

Al 25 %, la perplessità del codice si moltiplica per 1,16, 1,12 e poi 1,10 (contro 1,02-1,03 con gli zeri sparsi), e quella della prosa per più di 2. Bisogna allora richiamare il modello completo per il 35, il 33 e poi il 29 % degli estratti di codice (a caso: 46, 44 e 42 %). Contati questi richiami, il costo misurato vale 1,25, 1,20 e poi 1,13: più caro che non tagliare nulla. Al 50 % è ancora peggio: circa l'80 % di richiami e un costo vicino a 1,5.

Promettente

Al 12,5 %: il primo guadagno di tempo reale, senza alcun richiamo

Tagliando con delicatezza, lo specialista resta entro il 5 % del modello completo sul codice senza alcun richiamo, a tutte e tre le dimensioni. Il guadagno è modesto ma misurato: il 5 %, il 6 % e poi il 9 % di tempo in meno (costo 0,95, 0,94 e poi 0,91). Il modello da 1,7 miliardi riesce perfino nel 98 % delle addizioni, contro il 95 % del modello completo. La prosa invece perde già molto (perplessità × 1,4-1,5): il taglio ha seguito proprio la corsia del codice. Calibrare sulla prosa sarebbe stato un errore: al 25 %, la perplessità del codice si moltiplicherebbe per più di 2 invece che per 1,1.

XV

Cosa cambia il quarto round

Sette previsioni su nove reggono. La prima che cade è la più interessante: avevamo scommesso che nessun taglio avrebbe fatto guadagnare tempo reale una volta contati i richiami. Falso: al 12,5 %, lo specialista è più veloce e non ha bisogno di alcun richiamo. L'altra si gioca su un millesimo: al 25 %, la perplessità del codice del modello più grande si moltiplica per 1,099, e avevamo previsto più di 1,10. Una terza regge per un soffio e non per il motivo previsto: pensavamo che la generazione guadagnasse meno della lettura per il modello piccolo; guadagnano entrambe lo stesso.

La lezione sta in una regola semplice: su questo chip, il tempo guadagnato è più o meno pari alla quota di pesi tolti. Dimezzare il costo richiederebbe quindi di togliere metà del modello senza quasi mai richiamare quello completo. Senza riaddestramento, ne siamo lontani: al 50 %, bisogna richiamarlo per otto estratti su dieci.

La pista successiva è nota: dopo un taglio, un breve riaddestramento ripara buona parte dei danni. LLM-Pruner lo fa in poche ore con un metodo leggero; Sheared-LLaMA costruisce così buoni modelli piccoli per una frazione del costo di un addestramento completo. Se questo riaddestramento portasse verso zero i richiami con un taglio del 25 %, il guadagno misurato passerebbe dal 9 % a circa il 16 %.

La nostra regola, scritta in anticipo, diceva: un costo misurato sotto 0,9 avrebbe fatto salire l'anello b; S9 confermata l'avrebbe fatto scendere. Il costo migliore vale 0,91 e S9 cade: l'anello b resta al 60 %, H10 al 57 %. Ma il costo non è più soltanto calcolato: per la prima volta, è cronometrato.

XVI

Quinto round: tagliare, poi riparare

Nel quarto round, togliere il 25 % dei neuroni MLP faceva risparmiare dal 10 al 16 % di tempo reale, ma lo specialista doveva richiamare il modello completo per un terzo degli estratti: il guadagno spariva. Questa volta, dopo il taglio, lo specialista segue una breve lezione di recupero. Il modello completo fa da insegnante; il modello tagliato, l'allievo, impara a dare le stesse probabilità sul codice. È la distillazione. Il codice di addestramento viene da file diversi da quelli della valutazione, così l'allievo non può imparare le risposte a memoria.

Abbiamo provato due modi di riparare. Il primo riaddestra direttamente i pesi dei blocchi MLP tagliati. Il secondo, LoRA, congela quei pesi e addestra solo piccole matrici aggiunte accanto, come post-it ai margini di un manuale, poi le fonde nei pesi: è ciò che fa stare il modello da 1,7 miliardi e il suo insegnante nei 24 GB di un Mac. Undici previsioni, registrate prima del lancio. Il tutto ha richiesto circa un'ora e mezza.

Fonte: Hinton, Vinyals & Dean, Distilling the Knowledge in a Neural Network (2015), Hu et al., LoRA: Low-Rank Adaptation of Large Language Models (ICLR 2022), Ma et al., LLM-Pruner: On the Structural Pruning of Large Language Models (NeurIPS 2023)

Accertato

La riparazione riduce di molto i richiami, senza eliminarli

Con un taglio del 25 %, prima della riparazione, bisogna richiamare il modello completo per il 35 %, il 33 % e il 29 % degli estratti di codice (135M, 360M, 1,7B): il quarto round è riprodotto alla cifra. Dopo la riparazione, ne serve solo il 6 % per 135M e il 15 % per 360M, riparati direttamente, e il 23 % per 1,7B, riparato con LoRA. Il costo misurato, richiami compresi, scende a 0,93, 1,03 e 1,06. Il modello piccolo diventa conveniente: il 7 % di tempo risparmiato. Gli altri due sfiorano 1 senza scendere sotto. Con un taglio del 50 % la riparazione non basta: restano due terzi di richiami.

Promettente

Riaddestrare i pesi ripara meglio di LoRA

Sullo stesso modello da 135 milioni, a parità di passi, la riparazione diretta lascia il 6 % di richiami e LoRA il 15 %. I «post-it» di LoRA sono solo 2,5 milioni di numeri regolabili, contro decine di milioni della riparazione diretta: correggono meno. Il modello da 1,7 miliardi ha avuto solo LoRA, per metà dei passi, per mancanza di memoria e di tempo: il suo risultato (23 %) è quindi un pavimento, non un tetto. La sua riparazione ha richiesto 19 minuti.

Promettente

Sorpresa: migliora anche la prosa

Avevamo previsto che riaddestrare sul codice avrebbe danneggiato ancora la prosa. È il contrario, a tutte e tre le dimensioni: la perplessità della prosa scende un po' dopo la riparazione (per esempio × 2,59 → × 2,38 per 135M). La spiegazione sta nella distillazione: l'allievo non impara solo la risposta giusta sul codice, impara tutta la distribuzione di probabilità dell'insegnante, cioè una parte del suo modo generale di prevedere come continua un testo.

XVII

Cosa cambia il quinto round

Sei previsioni su undici reggono: il nostro round meno riuscito. Avevamo scommesso che la riparazione avrebbe portato i richiami sotto il 10 % e fatto risparmiare almeno il 10 % di tempo reale; si ferma a metà strada. La direzione è giusta, ma l'effetto è più debole di quanto immaginassimo.

Il risultato migliore viene dal modello più piccolo: tagliato del 25 % e poi riparato, costa 0,93, meglio del taglio leggero del 12,5 % senza riparazione (0,95). Per la prima volta, un taglio netto seguito da una riparazione fa risparmiare tempo reale, richiami compresi. Il guadagno resta modesto, e la lezione di recupero va pagata una volta: pochi minuti per un modello piccolo, una ventina per quello da 1,7 miliardi.

La regola scritta in anticipo diceva: un costo sotto 0,9 avrebbe fatto salire l'anello b; più del 20 % di richiami dopo la riparazione a ogni dimensione l'avrebbe fatto scendere. Non succede né l'una né l'altra cosa: l'anello b resta al 60 %, H10 al 57 %. La prossima domanda è chiara: con una riparazione più lunga, o un riaddestramento diretto del modello da 1,7 miliardi, i richiami scendono sotto il 10 %? Servirà una macchina più grande di un Mac.

XVIII

Sesto round: riparare più a lungo

Quando la riparazione del quinto round si è fermata, i richiami stavano ancora scendendo. Mancava solo il tempo? Abbiamo mantenuto lo stesso taglio del 25 % e riparato più a lungo, con controlli lungo la strada: dopo 300, 600 e 1200 passi per il modello da 360 milioni (riaddestramento diretto), dopo 150, 300 e 600 passi per quello da 1,7 miliardi (LoRA). Il tasso di apprendimento resta costante dopo una breve salita, così i controlli di una stessa prova si possono confrontare. Sette previsioni, registrate prima del lancio. Il tutto ha richiesto due ore e mezza su un Mac.

Fonte: Hinton, Vinyals & Dean, Distilling the Knowledge in a Neural Network (2015), Hu et al., LoRA: Low-Rank Adaptation of Large Language Models (ICLR 2022)

Accertato

360 milioni: nessun richiamo dopo 1200 passi

I richiami passano dal 33 % prima della riparazione al 10 % dopo 300 passi, al 4 % dopo 600 passi e allo 0 % dopo 1200 passi: su ciascuno dei 48 estratti di codice, lo specialista tagliato resta entro il 5 % del modello completo. La sua perplessità sul codice è ormai moltiplicata solo per 1,07 (contro 1,12 prima della riparazione), la prosa continua a migliorare (× 2,44 → × 2,14) e le addizioni risalgono un po' (55 → 60 %). Nel frattempo l'allievo ha visto il codice di addestramento appena più di una volta: non ha avuto il tempo di impararlo a memoria.

Promettente

1,7 miliardi con LoRA: la discesa rallenta

I richiami passano dal 29 % al 23 %, al 21 % e poi al 19 % dopo 150, 300 e 600 passi: ogni raddoppio della durata fa guadagnare ormai solo 2 punti circa. LoRA corregge meno del riaddestramento diretto, come nel quinto round; le sue piccole matrici sembrano arrivare a un tetto. Il costo misurato scende a 1,05 senza andare sotto 1. Il modello da 1,7 miliardi avrebbe bisogno di un riaddestramento diretto, troppo pesante per la memoria di un Mac.

Speculativo

Un cronometro meno affidabile questa volta

Senza richiami, il costo dello specialista si riduce alla sua velocità. Questa volta misuriamo 0,97 per il modello da 360 milioni. Ma durante questa lunga prova, lo stesso modello completo ha accelerato del 10 % tra l'inizio e la fine (0,68 → 0,61 secondi per lotto), mentre nei round 4 e 5 questo scarto restava sotto l'1 %. Quei due round davano allo stesso modello tagliato una velocità da 0,87 a 0,88. La nostra regola, scritta in anticipo, prende il valore misurato nella prova: lo teniamo. Il costo vero è probabilmente più vicino a 0,88: il round successivo ricronometra lo stesso modello.

XIX

Cosa cambia il sesto round

Cinque previsioni su sette reggono. Le due che cadono riguardano il costo del modello da 360 milioni (0,97 misurato, contro meno di 0,95 previsto) e il modello da 1,7 miliardi (19 % di richiami, contro al massimo il 15 %).

La lezione principale: per il modello da 360 milioni mancava solo il tempo. Un taglio del 25 % seguito da un'ora di riparazione dà uno specialista che non ha mai più bisogno di richiamare il modello completo sul codice. La questione dei richiami è risolta per questo modello; resta solo la velocità del taglio, che i round 4 e 5 misuravano in un 12-13 % di tempo risparmiato.

La regola scritta in anticipo: un costo misurato sotto 0,9 avrebbe fatto salire l'anello b; più del 20 % di richiami a entrambe le dimensioni l'avrebbe fatto scendere. Né l'una né l'altra cosa: l'anello b resta al 60 %, H10 al 57 %. Il dubbio che resta non riguarda più i richiami, ma il cronometro.

XX

Settimo round: un insegnante, due allievi

Nel quinto round, la riparazione per distillazione aveva migliorato anche la prosa, pur riguardando solo il codice. La nostra spiegazione: l'allievo non impara solo la risposta giusta, impara tutte le esitazioni dell'insegnante. Per metterla alla prova, un'idea nata da una conversazione: prendere due allievi identici, lo stesso modello tagliato del 25 % due volte, e affidarli allo stesso insegnante, sugli stessi testi, nello stesso ordine, per lo stesso tempo.

Cambia una sola cosa: il modo di insegnare. L'allievo «sfumature» impara tutta la distribuzione di probabilità dell'insegnante: «return al 70 %, yield al 20 %…». L'allievo «risposte» impara solo la parola preferita dell'insegnante, come se ricevesse soltanto le soluzioni. Due dimensioni (135 e 360 milioni), sei previsioni registrate prima del lancio, poco meno di un'ora su un Mac.

Fonte: Hinton, Vinyals & Dean, Distilling the Knowledge in a Neural Network (2015)

Accertato

L'allievo «sfumature» rifà il quinto round alla cifra

Riprende esattamente l'impostazione del quinto round e ne ridà esattamente i richiami: 6,2 % per 135M e 14,6 % per 360M. La misura si riproduce da un giorno all'altro. La sua prosa migliora come allora (× 2,59 → × 2,38 per 135M; × 2,44 → × 2,29 per 360M).

Accertato

L'allievo «risposte» finisce peggio di prima della lezione

Non è solo che progredisce meno: regredisce. I suoi richiami passano dal 35 % al 73 % (135M) e dal 33 % al 77 % (360M), la sua perplessità sul codice si moltiplica per 1,5-1,6, contro 1,12-1,16 prima della lezione, e anche la prosa peggiora. Eppure ha imparato ciò che gli si chiedeva: ritrova sempre più spesso la parola preferita dell'insegnante. Ma la distanza dalle probabilità dell'insegnante si è allargata durante la lezione invece di ridursi.

Promettente

Perché: impara a essere sicuro di sé

Quando l'insegnante esita tra due parole, l'allievo «risposte» impara a mettere tutto il peso sulla prima. Diventa troppo sicuro di sé. Su un testo vero, ogni volta che la parola giusta era la seconda, viene pesantemente penalizzato. L'allievo «sfumature», al contrario, impara a esitare dove esita l'insegnante. È la «conoscenza nascosta» descritta da Hinton e dai suoi colleghi nel 2015: le risposte sbagliate che l'insegnante giudica plausibili insegnano quasi quanto quella giusta.

XXI

Cosa cambia il settimo round

Sei previsioni su sei reggono: una prima volta in questo taccuino. La nostra spiegazione del quinto round supera la prova, e più nettamente del previsto. Copiare le sfumature dell'insegnante è ciò che ripara; copiarne solo le risposte danneggia.

Una buona notizia per il cronometro: questa volta è stato stabile (il modello completo impiega lo stesso tempo all'inizio e alla fine, a meno dell'1 %). Il modello da 360 milioni tagliato del 25 % gira a 0,87 del tempo del modello completo, come nei round 4 e 5. Lo specialista riparato per 1200 passi nel sesto round, che non aveva più bisogno di alcun richiamo, costerebbe quindi circa 0,87.

Questa cifra scenderebbe sotto la soglia di 0,9 che farebbe salire l'anello b. Ma mette insieme due round, e la nostra regola riguarda una misura fatta in una stessa prova. L'anello b resta quindi al 60 %, H10 al 57 %, in attesa di una prova di conferma: la riparazione di 1200 passi e il cronometro stabile, insieme, con la previsione scritta in anticipo.

XXII

Ottavo round: la prova di conferma

Messi insieme, i round 6 e 7 suggerivano uno specialista che non richiama mai il modello completo e gira a 0,87 del suo tempo. Ma la nostra regola richiede che tutto sia misurato in una stessa prova. Abbiamo quindi rifatto la riparazione di 1200 passi del modello da 360 milioni tagliato del 25 %, poi cronometrato alternando: modello completo, specialista, completo, specialista… sette misure in tutto. Se la macchina accelera o rallenta strada facendo, entrambi i modelli ne risentono allo stesso modo. Cinque previsioni, registrate prima del lancio.

Accertato

Zero richiami, di nuovo

Dopo 600 passi bisogna richiamare il modello completo per il 4,2 % degli estratti; dopo 1200 passi, per nessuno. La perplessità del codice è ormai moltiplicata solo per 1,065, la prosa continua a migliorare e le addizioni risalgono al 60 %. Le cifre del sesto round si riproducono quasi alla cifra.

Accertato

Un cronometro finalmente sotto controllo

Le quattro misure del modello completo differiscono al massimo dell'1,7 %, contro il 10 % del sesto round. Lo specialista impiega 0,88 del tempo del modello completo, e questo rapporto quasi non cambia da un giro all'altro (0,882, 0,884, 0,882). Togliere un quarto dei neuroni MLP fa risparmiare il 12 % di tempo reale.

Accertato

Un costo misurato sotto 0,9

Senza alcun richiamo, il costo misurato si riduce a questo rapporto: 0,88. Per la prima volta, in una stessa prova e con un cronometro stabile, uno specialista tagliato e poi riparato è più veloce del modello completo, senza discostarsene di più del 5 % su nessun estratto di codice.

XXIII

Cosa cambia l'ottavo round

Cinque previsioni su cinque reggono. La regola scritta in anticipo diceva: se il cronometro è stabile e il costo è sotto 0,9, l'anello b sale dal 60 al 65 %. È così: H10 passa dal 57 a 0,95 × 0,65 ≈ 62 %.

Cosa significa, senza esagerare: sul chip di un computer qualsiasi, un'ora di riparazione basta a trasformare un modello tagliato del 25 % in uno specialista del codice più veloce del 12 %, senza perdite rilevanti. È lontano dal dimezzamento del costo che annuncia H10; il resto della strada dovrà venire da altro (un taglio più forte riparato meglio, la compilazione, il passaggio in codice di ciò che segue una regola). Ma la strada «tagliare, poi riparare» funziona, e ora è misurata.

XXIV

Nono round: un insegnante che esagera le sue esitazioni

Il settimo round ha mostrato che imparare le esitazioni dell'insegnante ripara, e che imparare solo le sue risposte danneggia. Allora un insegnante che esagera le sue esitazioni insegna ancora meglio? È l'idea della «temperatura», proposta da Hinton e colleghi nel 2015: insegnante e allievo appiattiscono le loro probabilità prima della lezione. A T = 2, «return 90 %, yield 8 %» somiglia piuttosto a «return 70 %, yield 20 %»; a T = 4, ancora di più. Tre allievi identici per dimensione (T = 1, 2 e 4), stesso insegnante, stessi testi, stessa durata. Cinque previsioni, registrate prima del lancio.

Fonte: Hinton, Vinyals & Dean, Distilling the Knowledge in a Neural Network (2015)

Accertato

A T = 1, le stesse cifre per la terza volta

L'allievo a T = 1 segue esattamente la lezione dell'allievo «sfumature» del settimo round. Ne ridà esattamente i richiami: 6,2 % per 135M, 14,6 % per 360M. È la terza volta che queste cifre escono identiche, nei round 5, 7 e 9.

Accertato

Più l'insegnante esagera, meno l'allievo impara

I richiami aumentano con la temperatura: 6 → 10 → 15 % per 135M, 15 → 17 → 21 % per 360M, a T = 1, 2 e 4. La perplessità del codice e quella della prosa peggiorano un po' nello stesso ordine. Avevamo scommesso che T = 2 avrebbe fatto almeno bene quanto T = 1: falso, a entrambe le dimensioni.

Promettente

Perché: né troppo sicuro, né troppo esitante

L'allievo che impara una versione esagerata delle esitazioni finisce per esitare troppo, come l'allievo «risposte» del settimo round finiva troppo sicuro di sé. Entrambi si allontanano dall'insegnante, in direzioni opposte. La temperatura aiuta quando un allievo piccolo impara da un insegnante grande e molto sicuro di sé, le cui sfumature sono quasi invisibili. Qui l'allievo è una copia danneggiata dell'insegnante e il suo scopo è somigliargli esattamente: la cosa migliore è copiarne le probabilità così come sono.

XXV

Cosa cambia il nono round

Tre previsioni su cinque reggono: la riproduzione a T = 1, il peggioramento a T = 4 e il dubbio come guida migliore del caso. Le due che cadono sono quelle che scommettevano su un guadagno a T = 2.

I round 7 e 9 disegnano insieme una regola semplice per riparare uno specialista: deve imparare le probabilità dell'insegnante così come sono. Troppo indurite (le sole risposte) o troppo ammorbidite (una temperatura alta), insegnano peggio. Questo round riguardava il modo di riparare, non il costo: H10 resta al 62 %.

XXVI

Decimo round: lo specialista fuori dal suo terreno

Lo specialista dell'ottavo round era stato riparato e valutato sul codice della libreria standard di Python: file diversi, ma stesso stile e stessi autori. È bravo nel codice Python, o solo in quello della libreria standard? Abbiamo rifatto esattamente l'ottavo round, aggiungendo una seconda valutazione su codice estraneo: 48 estratti presi dai sorgenti di PyTorch e Transformers, mai visti durante il taglio né durante la riparazione. Cinque previsioni, registrate prima del lancio.

Accertato

Sul suo terreno, l'ottavo round si riproduce

Sulla libreria standard, le cifre dell'ottavo round tornano identiche: 0 % di richiami dopo 1200 passi, un rapporto di velocità di 0,88, un cronometro stabile (deriva dell'1 %). Costo misurato: 0,88.

Accertato

Sul codice estraneo, richiama quasi un estratto su due

Sul codice di PyTorch e Transformers, lo specialista tagliato richiama il modello completo per il 71 % degli estratti prima della riparazione, e ancora per il 48 % dopo 1200 passi. La riparazione aiuta un po' (perplessità × 1,29 → × 1,16), ma molto meno che sul suo terreno. Costo misurato su questo codice: 1,36, più caro che non tagliare nulla. Quello che chiamavamo «specialista del codice Python» è in realtà uno specialista della libreria standard: il suo dominio è quello della sua riparazione.

Accertato

E il suo dubbio non lo guida più

Sul suo terreno, seguire il dubbio dello specialista ha sempre richiesto meno richiami del caso. Sul codice estraneo non è più vero: 48 % di richiami seguendo il dubbio, 48 % a caso. Lo specialista non sa riconoscere gli estratti che tratta male quando escono dal suo dominio. È un risultato importante per il traduttore: il suo segnale d'allarme vale solo dove è stato regolato.

XXVII

Cosa cambia il decimo round

Una previsione su cinque regge: la riproduzione sulla libreria standard. Le altre quattro cadono, e di molto. Il nostro round meno riuscito, e probabilmente il più utile.

La regola scritta in anticipo diceva: più del 20 % di richiami sul codice estraneo riportano l'anello b dal 65 al 60 %. Ne serve il 48 %: H10 riscende dal 62 al 57 %. Il guadagno misurato nell'ottavo round resta vero, ma solo sul terreno esatto della riparazione, e un traduttore reale dovrebbe sapere quando ne esce: il suo dubbio non lo sa.

XXVIII

Undicesimo round: tagliare la metà

Per avvicinarsi al dimezzamento del costo bisogna tagliare di più. Abbiamo tolto il 50 % dei neuroni MLP del modello da 360 milioni, poi riparato otto volte più a lungo che nel quinto round, con controlli dopo 600, 1200 e 2400 passi. Stesso cronometraggio alternato, stessa doppia valutazione (libreria standard e codice estraneo). Cinque previsioni, registrate prima del lancio.

Fonte: Xia et al., Sheared LLaMA: Accelerating Language Model Pre-training via Structured Pruning (ICLR 2024)

Accertato

Lo specialista è molto più veloce

Tagliato a metà, impiega 0,75 del tempo del modello completo, con un cronometro stabile (deriva dello 0,7 %): un quarto del tempo risparmiato, come nel quarto round.

Accertato

Ma la riparazione si ferma

Sulla libreria standard, i richiami passano dall'81 % al 54 %, al 50 % e poi al 46 % dopo 600, 1200 e 2400 passi. Ogni raddoppio della durata fa guadagnare ormai solo 4 punti. La perplessità del codice resta moltiplicata per 1,17, quella della prosa per quasi 5. Costo misurato: 1,21. Sul codice estraneo è peggio: 73 % di richiami, costo 1,48.

Speculativo

Perché: è stato tolto troppo sapere

Al 25 %, la riparazione recuperava quasi tutto ciò che il taglio aveva fatto perdere. Al 50 %, ne recupera solo una parte, anche con due passaggi e mezzo sul codice di addestramento. Una spiegazione possibile: metà dei neuroni non basta più a contenere ciò che il modello sapeva, e la distillazione non può creare spazio. Lavori come Sheared-LLaMA riparano con miliardi di token, non con qualche milione.

XXIX

Cosa cambia l'undicesimo round

Due previsioni su cinque reggono: i richiami scendono a ogni controllo e lo specialista gira davvero a 0,75. Le altre tre cadono: dopo 2400 passi servono ancora il 46 % di richiami e il costo resta a 1,21.

La regola scritta in anticipo non fa muovere H10: resta al 57 %. I round 10 e 11 dicono la stessa cosa in due modi: su una macchina come un Mac, tagliare e poi riparare funziona per un taglio moderato e su un terreno preciso. Tagliare di più, o puntare più largo, richiede una riparazione di tutt'altra scala.

XXX

Dodicesimo round: studiare con due insegnanti, e un doganiere

Il decimo round aveva mostrato due debolezze: lo specialista riparato sulla libreria standard reggeva male sul codice estraneo, e il suo dubbio non individuava gli estratti che trattava male. Le abbiamo affrontate insieme. Prima, il taglio e la riparazione hanno usato un miscuglio: metà libreria standard, metà sorgenti di Transformers. Poi abbiamo provato un rilevatore che non guarda l'esitazione dello specialista, ma «a cosa somiglia» l'estratto: un'impronta dei suoi stati interni sul codice conosciuto e la distanza di ogni nuovo estratto da quell'impronta. Sei previsioni, registrate prima del lancio.

Accertato

Una riparazione varia regge su codice mai visto

Dopo 1200 passi, lo specialista richiama il modello completo per il 4 % degli estratti della libreria standard, lo 0 % dei file di Transformers messi da parte e il 21 % degli estratti di PyTorch, che nessuna fase aveva visto. Nel decimo round, riparato sulla sola libreria standard, ne richiamava il 48 % su un codice estraneo che mescolava PyTorch e Transformers. Sui file di Transformers messi da parte fa perfino un po' meglio del modello completo (perplessità × 0,997).

Accertato

Il doganiere riconosce il codice estraneo

Il rilevatore distingue gli estratti di PyTorch dal codice conosciuto nel 93 % delle coppie estratte a caso (area sotto la curva ROC di 0,93). Il dubbio, invece, fallisce ancora su PyTorch: seguirlo richiede più richiami del caso (21 % contro 17 %). Guardare ciò che lo specialista legge funziona meglio che chiedergli se esita.

Promettente

Su un flusso misto, il costo scende sotto 1

Su un flusso di 96 estratti, metà libreria standard e metà PyTorch, come nell'uso reale, richiamare per primi gli estratti che il rilevatore giudica estranei richiede il 9,4 % di richiami, contro l'11,5 % seguendo il dubbio, il 13,8 % a caso e il 7,3 % di un oracolo che sapesse tutto. Con un rapporto di velocità di 0,88 e un cronometro stabile (deriva dell'1,4 %), il costo misurato scende a 0,97.

XXXI

Cosa cambia il dodicesimo round

Sei previsioni su sei reggono: la seconda volta in questo taccuino. Le due debolezze del decimo round hanno ciascuna il suo rimedio: una riparazione più varia e un rilevatore che guarda l'estratto invece dell'esitazione.

La nostra regola scritta in anticipo chiedeva di più per far risalire H10: un costo sotto 0,95 sul flusso misto. Con 0,97 manca ancora un po': l'anello b resta al 60 %, H10 al 57 %. Eppure il traduttore reale prende forma: uno specialista riparato su un terreno vario, un doganiere che manda l'estraneo al modello completo e un guadagno modesto ma misurato, anche quando il flusso mescola conosciuto e sconosciuto.

XXXII

Tredicesimo round: dodici insegnanti, e un doganiere frettoloso

Nel dodicesimo round, due famiglie di codice erano bastate a far scendere i richiami su PyTorch dal 48 al 21 %. Abbiamo spinto oltre l'idea: riparazione su dodici famiglie di codice Python in parti uguali (libreria standard, Transformers, NumPy, pandas, SymPy, NetworkX, pip, setuptools, Rich, Pydantic, Pygments, Jinja2), con PyTorch sempre come esame finale. E abbiamo provato un doganiere frettoloso, che giudica l'estratto dopo 8 strati su 32 invece di aspettare l'ultimo: se lo trova estraneo, lo specialista si ferma lì e il modello completo prende il testimone. Sei previsioni, registrate prima del lancio.

Accertato

Più insegnanti non aiutano su PyTorch

Dopo 1200 passi, lo specialista richiama il modello completo per lo 0 % dei file messi da parte delle altre undici famiglie: conosce bene ciò che ha studiato. Ma su PyTorch ne richiama il 23 %, quanto con due famiglie (21 %), e sulla libreria standard risale all'8 % (4 % nel dodicesimo round). Parte della spiegazione sta nel nostro montaggio: in parti uguali, la famiglia più piccola limitava tutte le altre, e l'allievo ha ripassato tre volte un corpus più piccolo che nel dodicesimo round.

Accertato

Il doganiere finale perde fiuto

Con dodici famiglie nella sua impronta, il codice conosciuto diventa molto vario e PyTorch se ne distingue meno: l'area sotto la curva ROC scende da 0,93 a 0,73. Sul flusso misto richiede ancora meno richiami del dubbio (11,5 % contro 15,6 %), ma il costo resta a 0,99.

Promettente

Il doganiere frettoloso non vede nulla, ma fa risparmiare tempo

Dopo 8 strati, il rilevatore non distingue più PyTorch dal codice conosciuto (area sotto la curva ROC di 0,45, come lanciare una moneta): seguendo il suo ordine servono il 24 % di richiami. Eppure il suo costo è il migliore del round, 0,95: leggere 8 strati costa solo 0,2 del modello completo, e ogni estratto rimandato presto risparmia allo specialista tre quarti della lettura. Il guadagno viene dal fermarsi presto, non dal fiuto.

XXXIII

Cosa cambia il tredicesimo round

Due previsioni su sei reggono: il buon voto sulle famiglie studiate e un doganiere frettoloso meno costoso di quello finale. Le altre quattro cadono: PyTorch resta al 23 %, la libreria standard risale, il doganiere frettoloso non riconosce nulla e il costo del doganiere finale resta a 0,99.

La regola scritta in anticipo chiedeva che i richiami su PyTorch scendessero sotto il 12 %: H10 resta al 57 %. La lezione è doppia. Aggiungere famiglie non sostituisce uno studio più lungo di ciascuna. E un doganiere ha bisogno di un'impronta abbastanza netta: più il terreno conosciuto è vasto, più l'estraneo vi si confonde. Il montaggio migliore resta, per ora, quello del dodicesimo round.

XXXIV

Quattordicesimo round: dove mettere il doganiere?

Il doganiere finale del dodicesimo round aveva fiuto, ma giudicava dopo che lo specialista aveva letto tutto. Quello del tredicesimo, messo dopo 8 strati, faceva risparmiare tempo senza vedere nulla. Abbiamo ripreso esattamente il montaggio del dodicesimo round e messo sei doganieri lungo il percorso: dopo 8, 12, 16, 20 e 24 strati su 32, e alla fine. Per non scegliere il migliore a posteriori, la regola di H10 valeva in anticipo per uno solo, quello a 16 strati. Cinque previsioni, registrate prima del lancio.

Accertato

Il dodicesimo round si riproduce alla cifra

Stesso montaggio, stessi risultati: dopo 1200 passi, 4,2 % di richiami sulla libreria standard, 0 % sui file di Transformers messi da parte, 20,8 % su PyTorch, e l'area sotto la curva ROC del doganiere finale torna a 0,93. Il cronometro è stabile (deriva dello 0,5 %).

Promettente

Il fiuto compare solo alla fine

I doganieri intermedi non vedono quasi nulla: area sotto la curva ROC di 0,63 a 8 strati, 0,62 a 12, 0,52 a 16, 0,49 a 20, 0,69 a 24, poi 0,93 alla fine. Il fiuto non cresce a poco a poco con la profondità: compare all'improvviso all'ultimo strato. Una spiegazione possibile, che questo round non verifica: l'ultimo strato serve a prevedere la parola successiva, ed è lì che il vocabolario proprio di ogni libreria lascia una traccia netta; gli strati di mezzo descrivono la struttura del codice, comune a tutte.

Accertato

Fermarsi presto vince senza vedere

Il doganiere a 16 strati, quello della nostra regola, richiede il 21 % di richiami e costa 0,98, più del doganiere finale (0,97). Il meno caro resta quello a 8 strati, 0,94, anche se non vede quasi nulla: come nel tredicesimo round, vince perché ferma presto lo specialista su una parte degli estratti, non perché li ordini bene. Scegliere quel doganiere a posteriori sarebbe barare; la nostra regola non lo permette.

XXXV

Cosa cambia il quattordicesimo round

Una previsione su cinque regge: la riproduzione del dodicesimo round. Le altre quattro cadono: a 16 strati il doganiere non ha fiuto, non più che a 8, e il suo costo supera quello del doganiere finale.

La regola scritta in anticipo non fa muovere H10: resta al 57 %. Ora sappiamo che, in questo modello, riconoscere il codice estraneo richiede di arrivare fino all'ultimo strato. Per vincere su entrambi i fronti servirebbe un doganiere più sottile di una semplice distanza sugli stati nascosti, per esempio un piccolo classificatore addestrato a riconoscere l'estraneo fin dai primi strati.

XXXVI

Ciò che resiste

La scala. Un modello da 0,8 milioni di parametri su due compiti puliti non è un modello da 8 miliardi davanti a domande reali. Lì la sovrapposizione è molto più densa, e i compiti si mescolano molto di più.

Decompilare dal comportamento non è leggere la rete. Il nostro livello 3 indovina un programma dalle risposte, non lo legge nei pesi. Funziona per una regola che sappiamo già nominare; trovare una regola sconosciuta è un altro problema, quello di AlphaEvolve.

Il dubbio dello specialista. Tutto il calcolo poggia su uno specialista che sa quando non sa. I modelli sono spesso troppo sicuri di sé; uno smistamento che sbaglia in silenzio costa più di quanto fa risparmiare.

I guadagni reali della potatura. Azzerare dei pesi non accelera nulla se il chip calcola comunque gli zeri. Bisogna tagliare blocchi interi, o seguire gli schemi che il chip sa sfruttare, e quei tagli fanno più danni.

Torna su