Finora ogni ipotesi portava un solo numero, scelto in blocco. Un numero unico nasconde dove si annida il dubbio. Qui scomponiamo ciascuna in anelli che devono reggere tutti, diamo un numero a ogni anello, moltiplichiamo, e confrontiamo il tutto con gli studi usciti nel frattempo. Quattro ipotesi scendono nettamente, tre salgono, due vengono riformulate. Ecco il ragionamento, numero per numero.
Speculativoaggiornato il
I
Perché riaprire le ipotesi
Il taccuino conta nove ipotesi. Ciascuna dice qualcosa che crediamo sull'IA di domani, con un grado di fiducia: 75 %, 40 %, 55 %… Questi numeri erano onesti, ma globali: guardavamo l'ipotesi per intero e ci chiedevamo «è probabile?».
Il problema è che un'ipotesi raramente è un'affermazione sola. È una catena: A deve essere vera, e B deve seguire, e C deve reggere nella pratica. Un meteorologo non dice «70 % di probabilità di pioggia domani» d'istinto: combina la probabilità che arrivi un fronte, che sia abbastanza umido, che non devii. È quello che facciamo qui, per ciascuna delle nove.
II
Il metodo: scomporre in anelli
Passo 1. Scrivere le affermazioni di cui l'ipotesi ha bisogno per essere vera, e solo quelle. Sono gli anelli a, b, c.
Passo 2. Dare un numero a ogni anello supponendo veri i precedenti. È ciò che si chiama probabilità condizionata: «se a è vera, che probabilità ha b?». Il dettaglio conta: gli anelli di una stessa catena spesso si sostengono a vicenda, e quantificarli separatamente farebbe scendere il totale a torto.
Passo 3. Moltiplicare. Se a vale 90 % e b, sapendo a, 50 %, la catena vale 0,9 × 0,5 = 45 %. Un prodotto è sempre più piccolo del suo fattore più piccolo: una catena non può essere più solida del suo anello più debole.
Due trappole ci aspettano, in direzioni opposte. La prima: una storia ricca e coerente sembra più probabile di una semplice, mentre lo è per forza meno, perché richiede più cose. Era il nostro difetto con i numeri globali. La seconda: scomporre in troppi anelli, ciascuno quantificato con prudenza, fa sciogliere il totale artificialmente. Ci limitiamo quindi a due o tre anelli per ipotesi, ognuno davvero necessario.
Un'ultima regola, di coerenza: se un'ipotesi ne implica un'altra, la prima non può essere più probabile della seconda. Un caso particolare non può essere più sicuro della regola generale da cui discende. È questa regola che ci ha fatto trovare il nostro primo errore.
III
Prima scoperta: due ipotesi si contraddicevano
H7 diceva «il giudice può insegnare»: un modello migliora provando e venendo valutato. Le davamo il 50 %. H9, aggiunta tre giorni fa, diceva che un modello piccolo migliora su un computer qualunque grazie a un giudice esterno. Le davamo il 55 %.
Ma H9 è un caso particolare di H7: se un giudice fa migliorare un modello piccolo su un PC, allora un giudice può insegnare. Il caso particolare non poteva essere più probabile di quello generale. Uno dei due numeri era sbagliato.
Scavando, la contraddizione veniva da una parola. «Insegnare» mescolava due cose molto diverse. Affinare: rendere affidabile ciò che il modello trovava a volte. È assodato; Yue e coautori lo misurano, tutti gli studi lo confermano. Estendere: far trovare ciò che il modello non trovava mai. È questo che si discute.
Correggiamo quindi H7. Affinare diventa un fatto, non più un'ipotesi. H7 riguarda ora l'estensione, la vera domanda aperta. H9 resta centrata sull'affinamento, e i due numeri non sono più in conflitto.
Cosa dice H1: dare al modello la struttura dei dati (provenienza, livello, dipendenze) ridurrebbe la quantità di esempi necessaria.
Anello a, 85 %: gli indizi di struttura fanno davvero risparmiare dati, almeno fino a qualche miliardo di parametri. Anello b, 65 %: il guadagno non svanisce alle grandi dimensioni. I guadagni dell'ordine di apprendimento si assottigliavano con la dimensione, da qui la nostra prudenza; ma il risultato qui sotto si ritrova da 600 milioni a 8 miliardi di parametri.
Calcolo: 0,85 × 0,65 = 55 %. H1 sale un po'. Resta aperto: è la gerarchia che aiuta, o una semplice etichetta di origine? Lo studio usa un'etichetta piatta, l'indirizzo del sito. La nostra H1 include la provenienza, quindi conta; ma la forma più ambiziosa, con livelli e dipendenze, resta da verificare.
Gao e coautori, a Princeton, aggiungono semplicemente l'indirizzo di origine (per esempio en.wikipedia.org) davanti a ogni testo durante l'addestramento, poi lo tolgono alla fine. Un modello da 1,6 miliardi eguaglia l'addestramento classico con il 33 % di dati in meno, senza calcolo aggiuntivo, da 600 milioni a 8 miliardi di parametri. Anche argomenti generati da un modello funzionano come etichette.
H2 · Imparare l'alto, consultare il basso: dal 75 % al 64 %
Cosa dice H2: riservare i parametri ai principi e mettere i fatti in una memoria esterna.
Anello a, 92 %: si possono togliere i fatti dal modello senza perdite sulle domande di conoscenza. RETRO, gli strati di memoria, Engram e ora HippoRAG 2 lo mostrano. Anello b, 82 %: lo spazio liberato serve davvero a ragionare meglio, a parità di budget. Engram guadagna 3 punti, ma in parte su domande di conoscenza: è un indizio, non una prova. Anello c, 85 %: il costo della consultazione (tempo, traffico di memoria) resta accettabile nell'uso reale.
Calcolo: 0,92 × 0,82 × 0,85 = 64 %. È la lezione di metodo più grande: ogni anello è solido, ma tre anelli solidi fanno una catena media. Il nostro 75 % globale guardava l'anello a, il più convincente, e dimenticava gli altri due.
Novità: una memoria che non perde nulla per strada (2025)
HippoRAG 2 sistema i passaggi in un grafo e vi circola come una voce si diffonde tra amici. Supera la ricerca classica sia sui fatti semplici, sia sulla comprensione d'insieme, sia sui legami tra fatti lontani (circa 7 punti in più), là dove i metodi a grafo precedenti perdevano sui fatti semplici.
H3 · Regole ed eccezioni: dal 40 % al 48 %, restringendola
Cosa diceva H3: ovunque, tenere le regole e solo i dati che vi sfuggono comprimerebbe il sapere.
Scomposta, la forma generale crolla. Anello a, 80 %: dove un programma può verificare, sappiamo ricavare regole dagli esempi (AlphaEvolve, FunSearch). Anello b, 60 %: tenere regole + eccezioni fa davvero risparmiare dati di addestramento; scegliere bene i dati cambia la forma della curva di apprendimento, ed è incoraggiante. Anello c, 45 %: questo si estende alla lingua di tutti i giorni, piena di eccezioni e sfumature. Prodotto: 0,8 × 0,6 × 0,45 = 22 %.
Invece di tenere un'ipotesi troppo larga, la restringiamo ai domini verificabili, dove le nostre ragioni per crederci sono reali: 0,8 × 0,6 = 48 %. L'anello c non sparisce: diventa una domanda per dopo. Restringere non è barare, purché lo si dica: un'ipotesi più stretta afferma meno, quindi ha più probabilità di essere vera.
Cosa dice H4: quando ogni generazione di modello impara dalla precedente, tenere i dati grezzi rari impedirebbe la deriva.
Anello a, 90 %: la deriva colpisce prima i casi rari. È assodato da Shumailov. Anello b, 75 %: tenere dati reali impedisce la deriva. Gerstgrasser mostra che accumulare invece di sostituire la evita; ma uno studio del 2025 mostra che una piccola quota di dati artificiali può bastare a bloccare i progressi. Anello c, 65 %: tenere solo i casi rari, e non tutto, basta. È la nostra versione parsimoniosa, e nessuno l'ha verificata.
Calcolo: 0,9 × 0,75 × 0,65 = 44 %. Il calo più forte del taccuino. Il nostro 70 % poggiava sull'anello a, molto solido, e dava per scontati gli altri due. Facciamo il test inverso: è più probabile che tenere solo le eccezioni non basti? Sì, di poco, finché nessuno ha provato. È esattamente ciò che dice il 44 %.
Dohmatob e coautori mostrano, in un quadro matematico semplificato e poi su modelli linguistici, che anche l'1 % di dati artificiali nell'addestramento può impedire al modello di trarre vantaggio da più dati: la curva di apprendimento smette di scendere. E i modelli più grandi possono amplificare l'effetto. Mescolare quindi non basta sempre: bisogna sapere cosa tenere.
Cosa dice H5: il sapere è una rete, un'idea appartiene a più famiglie; la memoria utile sarebbe fatta di alberi che si incrociano.
Anello a, 85 %: le strutture in cui un passaggio appartiene a più gruppi battono gli alberi semplici sulle domande che collegano più fatti. GraphRAG, RAPTOR e HippoRAG 2 vanno in questa direzione. Anello b, 75 %: il costo di costruzione e manutenzione resta ragionevole su larga scala.
Calcolo: 0,85 × 0,75 = 64 %. Quasi invariata: il nostro numero globale era già ben calibrato. Un buon segno per il metodo, che non fa scendere tutto ciò che tocca.
Cosa dice H6: sommando esperti, cascata, bassa precisione e hardware migliore, il costo di una risposta calerebbe di 100 volte senza un nuovo modello gigante.
Anello a, 95 %: ogni leva da sola divide il costo per 2-4. Anello b, 55 %: le leve sono abbastanza indipendenti perché il loro prodotto regga, entro un fattore 3. È l'anello debole: la legge di Amdahl dice che accelerare una parte aiuta solo per quella parte. Anello c, 80 %: si arriva a 100 nella pratica.
Calcolo: 0,95 × 0,55 × 0,8 = 42 %. Perché alzare b rispetto alla nostra sintesi? Perché il mondo reale ha fatto l'esperimento per noi: a parità di prestazioni, i prezzi sono crollati molto più in fretta di quanto spieghi una qualsiasi leva da sola. È una prova indiretta che le leve si sommano. Ma questi cali vengono anche da nuovi modelli addestrati meglio, che H6 esclude: da qui un anello b al 55 %, non di più.
Epoch AI misura che, a prestazioni fisse, il prezzo di una risposta cala da 9 a 900 volte l'anno a seconda del compito; raggiungere il livello di GPT-4 su domande di scienze da dottorato è diventato 40 volte meno caro ogni anno. Un altro studio, più prudente, trova da 5 a 10 volte l'anno per i modelli di punta, e nota che usare i modelli di punta costa invece sempre di più, perché sono più grandi e ragionano più a lungo.
H7 · Il giudice può far scoprire? 43 %, riformulata
Cosa dice ora H7: con un addestramento lungo e vario, un giudice affidabile farebbe trovare al modello soluzioni che non trovava mai, nemmeno in migliaia di tentativi.
Anello a, 95 %: un giudice rende il modello più affidabile. Assodato. Anello b, 45 %: prolungando, estende ciò che il modello può trovare. Due squadre, spesso con gli stessi ricercatori, si rispondono. Una mostra un'estensione reale, soprattutto nel codice; l'altra mostra che in generale il modello perde l'accesso a più soluzioni di quante ne guadagni. Dettaglio rivelatore: il titolo del secondo studio ha preso un punto interrogativo nell'ultima versione.
Calcolo: 0,95 × 0,45 = 43 %. Più basso del vecchio 50 %, ma per un'affermazione più forte e più chiara. È l'ipotesi che conta di più per il seguito del taccuino: se cade, un modello piccolo non supererà mai da solo ciò che già trovava per caso.
A favore: ProRL, l'addestramento prolungato (2025)
Da NVIDIA, Liu e coautori addestrano a lungo un modello da 1,5 miliardi, stabilizzando l'apprendimento e variando i compiti. Il modello risolve problemi in cui il modello di partenza falliva qualunque fosse il numero di tentativi. Ma gli autori stessi lo notano: in matematica, dove il modello di partenza era già forte, la riuscita su 128 tentativi spesso cala.
Wu e coautori, tra cui diversi autori di ProRL, seguono l'addestramento passo dopo passo. La loro constatazione su numerosi test: il rinforzo migliora il primo tentativo, ma perde l'accesso a più risposte giuste di quante ne guadagni. Il modello resta tenuto al guinzaglio dal suo punto di partenza; per spezzarlo bisognerebbe seminare idee nelle zone che non esplora mai.
Cosa dice H8: sui compiti verificabili, un modello da 8 miliardi ben attorniato eguaglierebbe un modello cento volte più grande, a un costo paragonabile o minore.
Anello a, 90 %: raggiunge lo stesso punteggio. Assodato in matematica: un modello da 1 miliardo con 512 tentativi filtrati supera un modello da 405 miliardi. Anello b, 60 %: a un costo totale paragonabile, contando tutti i tentativi e il giudice, di fronte a giganti a esperti che accendono solo una piccola parte di sé. Anello c, 85 %: vale oltre la matematica e il codice, su altri compiti verificabili.
Calcolo: 0,9 × 0,6 × 0,85 = 46 %. L'anello b è il cuore del dubbio, e il nostro vecchio 55 % lo scavalcava. Un dato nuovo però aiuta il piccolo: ciò che si fa girare a casa raggiunge presto i giganti.
Novità: la punta arriva a casa in meno di un anno (2025)
Epoch AI misura che i migliori modelli aperti che stanno su una sola scheda grafica per il grande pubblico sono indietro di circa 6-12 mesi rispetto alla punta, a seconda del test. Cautela, notano: i modelli piccoli sono più spesso ottimizzati per i test, quindi il ritardo reale è probabilmente un po' più lungo.
Cosa dice H9: su un computer qualunque, un giudice esterno fa migliorare nettamente un modello piccolo, fino al tetto di ciò che trovava in molti tentativi.
Anello a, 75 %: il guadagno è netto (almeno 5 punti) su qualsiasi modello piccolo moderno, non solo su una famiglia scelta. Anello b, 90 %: sta su una scheda da gioco in una settimana; sono i nostri conti della pagina precedente. Anello c, 80 %: la descrizione del tetto è giusta; il guinzaglio invisibile la conferma, ProRL la contesta, ma dopo un addestramento molto più lungo di una settimana.
Calcolo: 0,75 × 0,9 × 0,8 = 54 %. Quasi invariata, ma il dubbio ha cambiato posto: ora sta nell'anello a, per via dello studio qui sotto. Il nostro esperimento previsto usa Llama, proprio la famiglia in cui gli effetti facili spariscono. Tanto meglio: sarà ancora più probante.
Novità: ricompense a caso che funzionano… su una sola famiglia (2026)
Shao e coautori addestrano Qwen2.5-Math-7B per rinforzo con ricompense estratte a caso: guadagna 21,4 punti al test MATH-500, quasi quanto i 29,1 punti ottenuti con le risposte vere. Il rinforzo risveglia soprattutto un'abitudine già presente (ragionare in codice). Su Llama 3 o OLMo 2, queste false ricompense non danno quasi nulla. Lezione: provare su più famiglie prima di cantare vittoria.
Ciò che scende: H2 (75 → 64), H4 (70 → 44), H8 (55 → 46), H7 (50 → 43, riformulata) e H9 di un punto. Quasi sempre per la stessa ragione: avevamo quantificato l'anello più visibile e dato per scontati gli altri.
Ciò che sale: H1 (50 → 55) grazie a un nuovo studio, H6 (35 → 42) grazie al calo misurato dei prezzi, H3 (40 → 48) restringendola. H5 quasi non si muove.
La grande tesi del taccuino poggia su tre ipotesi: una memoria esterna (H2), organizzata a grafo (H5), e un modello piccolo che migliora con un giudice (H9). Se fossero indipendenti: 0,64 × 0,64 × 0,54 = 22 %. Non lo sono del tutto (le sostiene una stessa realtà tecnica), quindi il valore vero è più alto, senza superare quello della più debole, 54 %. Diciamo circa 30 %: meno di una possibilità su due che l'intero programma regga. Per questo bisogna decidere, anello per anello.
Fig. O — Dove si annida il dubbio
fiducia oggi (prodotto degli anelli)fiducia precedenteanelli a, b, c
Schema illustrativo: mostra l'idea, non misurazioni.
Ogni riga è un'ipotesi. I cerchi sono i suoi anelli, ciascuno quantificato supponendo veri i precedenti; la barra è il loro prodotto, cioè la nuova fiducia; il trattino rosso, quella vecchia. Un'ipotesi è fragile quanto il suo anello più debole, e un po' di più: la barra finisce sempre a sinistra del cerchio più a sinistra.XIV
Tre esperimenti per decidere
Quale esperimento sposterebbe di più i nostri numeri? Per ciascuno scriviamo i risultati possibili, la loro probabilità e la fiducia che ne seguirebbe. Vale una regola di coerenza: la media delle fiducie dopo l'esperimento deve eguagliare la fiducia di prima. Altrimenti sapremmo già da che parte cadrà, e dovremmo cambiare subito il nostro numero. Abbiamo verificato questa regola per tutti e tre.
Misuriamo poi lo spostamento atteso: la somma, pesata dalle probabilità, delle variazioni di fiducia. Più è grande, più l'esperimento ci insegna.
Speculativo
E1 · Due famiglie, giudice vero contro giudice a caso · circa 20 €
L'esperimento della pagina precedente, fatto su Llama e Qwen, con ricompense vere e ricompense a caso: quattro settimane di una scheda da gioco. Tre esiti: Llama migliora nettamente solo con il giudice vero, tetto intatto (55 %) → H9 66 %, H7 37 %; migliora solo Qwen (25 %) → H9 25 %, H7 38 %; Llama migliora e la sua riuscita su 64 tentativi fa un balzo (20 %) → H9 60 %, H7 65 %. Medie: H9 54,6 %, H7 42,9 %, coerenti. Spostamento atteso: 24 punti.
Speculativo
E2 · Etichette gerarchiche contro etichetta piatta · circa 16 000 h di GPU
Addestrare modelli da 1 e 8 miliardi senza etichetta, con l'indirizzo di origine, e con livelli e dipendenze. Tre esiti: la gerarchia batte l'etichetta piatta e regge a 8 miliardi (50 %) → H1 75 %; aiuta solo l'etichetta piatta e il suo guadagno si scioglie (30 %) → H1 40 %; più nulla a 8 miliardi (20 %) → H1 25 %. Media 54,5 %, coerente. Spostamento atteso: circa 20 punti. Costo: 6 operazioni per parametro e per parola, su 20 parole per parametro, tre volte, a 400 000 miliardi di operazioni utili al secondo per chip (un'ipotesi): circa 16 000 ore di GPU da centro di calcolo. Roba da laboratorio.
Speculativo
E3 · Cinque generazioni, tenere tutto, i rari o niente · circa 50 h di GPU
Modelli piccoli (125 milioni di parametri) imparano ciascuno dal precedente, cinque volte di fila, tenendo tutti i dati reali, solo il 5 % più raro, o niente. Tre esiti: il 5 % raro fa bene quanto tutto (40 %) → H4 75 %; aiuta a metà (45 %) → H4 25 %; nemmeno tenere tutto basta (15 %) → H4 20 %. Media 44,3 %, coerente. Spostamento atteso: circa 25 punti, per una cinquantina di ore di GPU a noleggio (nostra stima, generazione dei testi compresa).
XV
Cosa faremo di questi numeri
L'ordine degli esperimenti discende dal calcolo: E1 ed E3 insegnano almeno quanto E2, per centinaia o migliaia di volte meno. E1 sta su un computer qualunque; E3, su qualche ora di calcolo a noleggio. Sono quelli che consigliamo di fare per primi.
Le nostre regole di revisione, per non barare più avanti. Un'ipotesi cambia numero solo se cambia un anello, e diremo quale. Un'ipotesi con un anello che scende sotto il 20 % verrà riformulata o ritirata, non mantenuta per abitudine. E ogni nuova ipotesi arriverà già scomposta in anelli.
Ciò che questa pagina guadagna non è un numero in più. È sapere, per ogni ipotesi, quale frase precisa bisognerebbe dimostrare o confutare. Un'ipotesi che si sa come uccidere è un'ipotesi utile.