Un modello piccolo che migliora da solo, su un computer qualunque?
Nella pagina precedente, un gigante faceva da maestro al modello piccolo. Qui lo togliamo. Restano un modello da 8 miliardi di parametri, un computer da gioco e le notti libere. La nostra risposta sta in una frase: il maestro non ha bisogno di essere più intelligente dell'allievo, gli basta saper distinguere il giusto dallo sbagliato. Ecco il ragionamento, i conti, e il tetto che non si sfonda così facilmente.
Promettenteaggiornato il
I
L'idea, in breve
Pensate a uno studente da solo con un quaderno di esercizi e le soluzioni. Nessuno gli spiega niente. Prova, confronta con le soluzioni, si ricorda cosa ha funzionato e ricomincia. Dopo qualche settimana, risolve al primo colpo esercizi che prima risolveva solo una volta su cinque.
Un modello linguistico può fare esattamente lo stesso. Prova più volte lo stesso problema, un giudice separa i tentativi giusti, e il modello si addestra sui propri successi. È l'autoaddestramento. Il metodo STaR lo ha mostrato già nel 2022, e ReST-EM, da Google, ha fatto meglio imparando dai propri tentativi filtrati che imparando da soluzioni scritte da esseri umani.
Il punto chiave: il giudice non è un grande modello. È il foglio delle soluzioni, un test, una regola del gioco. Verificare è molto più facile che trovare. Verificare che una somma sia giusta è immediato; trovare la dimostrazione di un teorema può richiedere anni. Questa asimmetria permette a un maestro «stupido» di insegnare a un allievo più intelligente di lui.
Un modello ha due voti. Il primo è la sua riuscita al primo tentativo. Il secondo è la sua riuscita su molti tentativi: la probabilità che almeno uno dei suoi tentativi sia giusto. I ricercatori scrivono pass@1 e pass@k. Lo scarto tra i due può essere enorme: nel lavoro di Brown e coautori, la quota di problemi risolti sale con regolarità a ogni raddoppio del numero di tentativi.
Quello scarto è competenza nascosta: il modello «sa» trovare la risposta, ma non in modo affidabile. L'autoaddestramento trasforma la competenza nascosta in competenza affidabile. Non crea quasi nulla di nuovo; rende sicuro ciò che era lasciato al caso.
È anche il suo limite, e ci torneremo: Yue e coautori osservano che il rinforzo fa salire pass@1, ma che con molti tentativi il modello di partenza risolve altrettanti problemi, o persino di più. Tenete a mente l'immagine: l'addestramento riempie il bicchiere, non lo ingrandisce. Buona notizia per un vecchio modello come Llama 3 8B: meno affidabile di un modello recente, ha spesso il bicchiere più vuoto, quindi più margine da riempire.
Tutto poggia sul giudice. Ecco i giudici che un computer qualunque può far girare da solo, dal più sicuro al più fragile.
Accertato
Le soluzioni: esercizi di cui si conosce la risposta
Esistono migliaia di problemi di matematica con la loro risposta finale. Il giudice confronta semplicemente due numeri. È il giudice di ReST-EM, sul test MATH: generare, tenere i tentativi giusti, riaddestrare, ricominciare. Semplice e solido, ma la scorta di esercizi è finita.
Per il codice, il giudice è il computer stesso: si lancia il programma e si guarda se supera i test. Absolute Zero va oltre: il modello inventa i propri esercizi di programmazione, un interprete Python li verifica, e impara senza alcun dato esterno. I suoi autori dichiarano di fare meglio di modelli addestrati su decine di migliaia di esempi scelti da esseri umani.
La regola del gioco: un problema che si verifica da solo
Il gioco Countdown: raggiungere un numero bersaglio con pochi numeri e le quattro operazioni. Verificare una soluzione richiede una riga di calcolo. TinyZero, a Berkeley, ha insegnato questo gioco a un modello da 3 miliardi di parametri tramite rinforzo, e il modello ha sviluppato da solo l'abitudine di controllare i propri calcoli e cercare in altro modo quando sbaglia. Il tutto per meno di 30 dollari di calcolo.
Sul vostro computer, voi siete un giudice gratuito. Il codice proposto si è bloccato? La risposta è stata corretta a mano? Ogni correzione è un esempio etichettato. È un'idea nostra, qui non verificata: un modello locale che impara di notte dalle correzioni della giornata. Il rischio: un giudice umano si stanca e sbaglia.
Promettente
Il voto: fidarsi della maggioranza delle proprie risposte
Senza soluzioni, si può rispondere 64 volte e prendere la risposta più frequente come «verità». TTRL fa esattamente questo su problemi senza risposta nota e annuncia un aumento di circa il 211 % alla gara AIME 2024 per un modello da 7 miliardi di parametri. Fragile per natura: quando la maggioranza sbaglia, il modello impara il proprio errore.
Due risultati danno la misura di cosa ci si può aspettare, uno vecchio e solido, l'altro recente e spettacolare.
Accertato
STaR: imparare dai propri ragionamenti (2022)
Il modello scrive un ragionamento; si tengono quelli che portano alla risposta giusta. Quando fallisce, gli si suggerisce la risposta e lui riscrive un ragionamento che ci arrivi: è la «razionalizzazione». Su CommonsenseQA, il risultato regge il confronto con un modello 30 volte più grande addestrato in modo classico.
Con un solo problema e un rinforzo verificato, un modello da 1,5 miliardi di parametri passa dal 36,0 % al 73,6 % al test MATH500. Cautela: gran parte del salto viene dal fatto che il modello impara a presentare la risposta nel formato giusto; gli autori misurano 8,6 punti oltre questo effetto. È la prova che la competenza c'era già, nascosta.
Facciamo i conti per Llama 3.1 8B, cioè 8,03 miliardi di parametri. Salvati a 16 bit, pesano 16 GB: troppo per la maggior parte delle schede grafiche. Due trucchi cambiano tutto.
Primo trucco: arrotondare i pesi a 4 bit, come in QLoRA. 8,03 miliardi × 0,5 byte = 4,0 GB. QLoRA ha mostrato che così si può affinare un modello da 65 miliardi di parametri su una sola scheda da 48 GB senza perdere qualità.
Secondo trucco: non toccare i pesi, ma aggiungere un adattatore (LoRA). Si congelano gli 8 miliardi di pesi e si addestrano solo piccole matrici innestate accanto. Con un rango di 16 su tutti gli strati di Llama 3 8B, il conto dà 41,9 milioni di parametri, cioè lo 0,5 % del modello e 84 MB. L'addestramento conserva per ciascuno quattro numeri da 4 byte (il parametro, la sua correzione e due medie dell'ottimizzatore): 41,9 M × 16 byte = 0,67 GB.
Aggiungiamo la memoria di lavoro. Per scrivere, il modello tiene in memoria 128 KB per ogni parola già scritta; 16 tentativi da 1000 parole in parallelo richiedono 2,1 GB. Contiamo ancora qualche gigabyte per l'addestramento vero e proprio. Totale: da 9 a 10 GB. Sta su una scheda da gioco da 12 GB, e comodamente su 16 o 24 GB.
Un bonus inatteso: l'adattatore dimentica meno. Biderman e coautori mostrano che LoRA impara meno di un riaddestramento completo in codice e matematica, ma conserva meglio ciò che il modello sapeva già fare altrove. Per un modello che si addestra da solo per settimane, dimenticare poco conta più che imparare in fretta.
Prendiamo una notte di 8 ore e dividiamola in tre tempi: 6 h di tentativi, 1 h di apprendimento, 1 h di controllo.
I tentativi (6 h). Una scheda da gioco di fascia alta legge la propria memoria a circa 1000 GB al secondo; una scheda più modesta, da due a tre volte più lentamente, e la notte dà allora da due a tre volte meno tentativi. Per scrivere una parola, il modello rilegge i suoi 4 GB di pesi: da solo, si fermerebbe intorno alle 250 parole al secondo. Portando avanti 16 tentativi insieme, la stessa lettura serve 16 parole. Prendiamo un'ipotesi prudente di 1000 parole al secondo. In 6 h: 6 × 3600 × 1000 = 21,6 milioni di parole, cioè circa 21 600 tentativi da 1000 parole. Abbastanza per provare 2500 esercizi 8 volte ciascuno (20 000 tentativi), con margine.
L'apprendimento (1 h). Si tengono al massimo due tentativi giusti per esercizio, quindi al massimo 5000 esempi da circa 500 parole: 2,5 milioni di parole. Imparare costa, contando largo, 6 operazioni per parametro e per parola: 6 × 8 miliardi × 2,5 milioni = 1,2 × 10¹⁷ operazioni. A un rendimento effettivo di 40 000 miliardi di operazioni al secondo (un'ipotesi, ben al di sotto del massimo di queste schede), servono 50 minuti.
Il controllo (1 h). Il modello fa un piccolo esame che non ha mai visto, più una serie di domande generali, per verificare che sia migliorato senza dimenticare nulla. Se il voto generale scende, l'adattatore della notte si butta. È la cintura di sicurezza di tutto il metodo.
L'elettricità. Un PC da gioco a pieno carico consuma circa 450 W (nostra ipotesi). 450 W × 8 h = 3,6 kWh. Alla tariffa regolamentata francese di ottobre 2026, circa 0,20 € al kWh: 0,72 € a notte, circa 5 € a settimana.
VII
Il calcolo: notte dopo notte, fin dove?
Costruiamo un modello giocattolo. Gli esercizi non sono tutti difficili allo stesso modo per il nostro modello: diciamo che un quarto non viene mai risolto, il 15 % viene risolto una volta su dieci, il 25 % sei volte su dieci e il 35 % nove volte su dieci. Il suo voto al primo tentativo: 0,15 × 10 % + 0,25 × 60 % + 0,35 × 90 % = 48 %.
Ogni notte, prova ogni esercizio 8 volte. Un esercizio risolto una volta su dieci dà almeno un tentativo giusto con una probabilità di 1 − 0,9⁸ = 57 %: circa una notte su due, fornisce un esempio da cui imparare. Un esercizio mai risolto non fornisce nulla, mai.
Supponiamo che ogni esempio imparato avvicini l'esercizio alla riuscita del 30 % della strada che resta. Il voto passa dal 48 % al 60 % in due notti, al 73 % in una settimana, poi rallenta. Con un apprendimento tre volte più lento (10 %), si arriva solo al 61 % in una settimana. Ma in entrambi i casi, la curva si avvicina alla stessa linea: 75 %, esattamente la quota di esercizi che il modello di partenza risolveva almeno una volta su 64 tentativi.
Ecco la legge del tetto, in una frase: l'autoaddestramento avvicina il voto al primo tentativo al voto su molti tentativi, non oltre. È la nostra traduzione in cifre dell'osservazione di Yue e coautori. Il modello giocattolo è ottimista su un punto: Llama 3.1 8B è già stato affinato in seguito su esercizi di questo tipo, quindi parte del suo margine è già consumata.
Fig. N — Notte dopo notte, il voto sale verso un tetto
Apprendimento rapido: 73 % dopo 7 nottiApprendimento lento: 61 % dopo 7 notti
Schema illustrativo: mostra l'idea, non misurazioni.
Un modello giocattolo, non una misura. Un quarto degli esercizi non viene mai risolto all'inizio, il 15 % viene risolto una volta su dieci, il 25 % sei volte su dieci, il 35 % nove volte su dieci: 48 % al primo tentativo. Ogni notte, 8 tentativi per esercizio; quando almeno uno è giusto, l'apprendimento avvicina quell'esercizio alla riuscita (del 30 % o del 10 % della strada che resta). La velocità dipende dall'apprendimento; il tetto invece non si muove: un esercizio mai risolto non dà mai nulla da imparare.VIII
Alzare il tetto senza un grande modello
Se il tetto è ciò che il modello trova in molti tentativi, ci sono tre modi per alzarlo, e nessuno richiede un gigante.
Suggerire la risposta. È la razionalizzazione di STaR: per un esercizio mai risolto, si dà la risposta finale e si chiede un ragionamento che ci porti. L'esercizio con p = 0 dà finalmente un segnale. Il rischio: un ragionamento che «ci azzecca» per una strada sbagliata. Serve quindi un giudice anche per il ragionamento, non solo per la risposta.
Graduare gli esercizi. Un esercizio impossibile oggi diventa fattibile se prima si passa per versioni più semplici. Il modello può inventare questi gradini da solo, come in Absolute Zero, dove propone esercizi proprio al limite di ciò che sa fare. È l'idea di progressione del taccuino, applicata allo studente da solo.
Dare degli strumenti. Una calcolatrice, un interprete Python, un motore di ricerca su una biblioteca locale. Con uno strumento, esercizi fuori portata diventano fattibili a volte, e quel «a volte» basta perché il ciclo parta.
Da qui la nostra ipotesi H9: il mondo può fare da maestro. Soluzioni, test, regole, strumenti, e il tempo di una notte.
E se mille volontari prestassero il loro PC di notte? Il calcolo sorprende. Mille macchine × 21 600 tentativi = 21,6 milioni di tentativi a notte. Sui nostri 2500 esercizi, fanno più di 8000 tentativi per esercizio e per notte. Il calcolo smette di essere il problema: il collo di bottiglia diventa la scorta di esercizi verificabili.
Cosa bisogna scambiarsi? Due opzioni. Ci si può scambiare gli adattatori (84 MB ciascuno) e fonderli. Si sa già addestrare un modello in tanti via internet: DiLoCo eguaglia un addestramento classico comunicando 500 volte meno, e INTELLECT-1, un modello da 10 miliardi di parametri, è stato addestrato su tre continenti da una trentina di fornitori di calcolo. Ma bisogna fidarsi dei pesi ricevuti, e non si possono rileggere.
Preferiamo la seconda: scambiarsi esempi verificati. Una soluzione giusta pesa circa 2 KB; i 5000 esempi di una notte, 10 MB. Soprattutto, chiunque può rilanciare il giudice su un esempio ricevuto in una frazione di secondo. Un imbroglione che manda esempi falsi viene scoperto subito. Ci si scambiano prove, non pesi. È la nostra proposta, non un risultato pubblicato.
Il tetto. L'abbiamo calcolato: senza nuovi esercizi, senza risposte suggerite e senza strumenti, il voto si ferma a ciò che il modello trovava già in molti tentativi.
Il collasso. Un modello che impara solo dai propri testi può impoverirsi, generazione dopo generazione: Shumailov e coautori lo hanno mostrato. Il giudice esterno limita questo rischio, perché filtra sulla correttezza e non sullo stile, ma non lo annulla: le soluzioni tenute si somigliano sempre di più. Tenere i dati originali nel miscuglio aiuta.
Imbrogliare il giudice. Un modello impara ciò che viene premiato, non ciò che si voleva. Se i test sono deboli, imparerà ad aggirarli. Un giudice permissivo produce uno studente imbroglione.
Il voto che si impenna. Quando il giudice è la maggioranza delle proprie risposte, un errore frequente diventa una «verità» che si rafforza. Su una notte, è un rischio; su mesi senza un'àncora esterna, è la nostra preoccupazione principale.
I compiti senza giudice. Scrivere una lettera, dare un consiglio: nessun programma dice quale tentativo sia il migliore. Qui, il computer qualunque non sostituisce un maestro, umano o modello.
Una settimana di notti basta per un guadagno netto · 65 %
Llama 3.1 8B, addestrato 7 notti sui propri tentativi filtrati da un foglio di soluzioni, guadagna almeno 5 punti di riuscita al primo tentativo al test MATH-500, su una sola scheda da gioco. Questa scommessa cadrebbe se il guadagno restasse sotto i 2 punti.
Speculativo
Il tetto regge · 70 %
La sua riuscita su 64 tentativi si sposta di meno di 3 punti. Ciò che il ciclo aggiunge è affidabilità, non portata. Se questa scommessa cade, è un'ottima notizia: lo studente da solo scoprirebbe davvero qualcosa di nuovo.
Speculativo
In tanti, il collo di bottiglia è l'esercizio, non il calcolo · 70 %
Una rete di volontari che si scambiano esempi verificati migliora più in fretta di ciascuno da solo, ma esaurisce presto gli esercizi disponibili. Il valore passa dalla potenza di calcolo ai giudici e agli esercizi.
Speculativo
Senza alcuna àncora esterna, deriva · 60 %
Un modello che impara solo dal voto delle proprie risposte migliora all'inizio, poi, nel corso dei mesi, rafforza i suoi errori frequenti e perde diversità. Serve sempre un pezzo di mondo che dica giusto o sbagliato.
XII
L'esperimento da fare, e le nostre previsioni
Prendere Llama 3.1 8B, o Llama 3 8B per rendere la prova più dura, una scheda da 24 GB e un adattatore di rango 16. Estrarre 2500 problemi dall'insieme di addestramento di MATH, con le loro risposte. Ogni notte: 8 tentativi per problema, tenere al massimo due tentativi giusti, imparare, poi controllare. Sette notti.
Misurare prima e dopo: la riuscita al primo tentativo e su 64 tentativi in MATH-500, e una serie di domande generali (MMLU) per l'oblio.
Le nostre previsioni, scritte prima di qualsiasi esperimento perché ci si possa dare torto. Al primo tentativo: da +5 a +12 punti. Su 64 tentativi: meno di 3 punti in più. Domande generali: meno di un punto perso. Costo: circa 5 € di elettricità. Se il guadagno al primo tentativo resta sotto i 2 punti, abbasseremo H9. Se supera i 15 punti, o se il voto su 64 tentativi fa un balzo, la nostra legge del tetto è sbagliata, e rivedremo volentieri il taccuino.