Approfondimento · Folio IV
Risolvere un sudoku richiede tempo; controllare una griglia piena richiede pochi secondi. In molti problemi verificare è molto più facile che trovare. L'IA inizia ad appoggiarsi a questa asimmetria su due scale: la parola e la risposta intera.
Un modello linguistico scrive una parola alla volta, e ogni parola lo obbliga a rileggere tutti i suoi pesi. Ma controllare più parole proposte si può fare in un solo passaggio, quasi veloce quanto scriverne una. Da qui l'idea: un modello piccolo e rapido indovina, quello grande si limita a confermare.
Alla scala di una risposta intera vale la stessa asimmetria: produrre molti tentativi, poi lasciare che un verificatore (dei test, un controllore di dimostrazioni, una calcolatrice) tenga quello giusto.
Nella decodifica speculativa (Google, 2023), il modello piccolo propone alcune parole; quello grande calcola, in parallelo, la probabilità che avrebbe dato a ciascuna. Un'astuta regola di accettazione tiene quelle giuste e riestrae la prima sbagliata, così il testo segue esattamente la stessa distribuzione di quello del solo modello grande.
Più il modello piccolo indovina, maggiore è il guadagno. I lavori successivi cercano quindi di farlo indovinare meglio, in particolare dandogli accesso agli stati interni del modello grande.
Fonte: Leviathan, Kalman & Matias, Speculative Decoding (ICML 2023)
Fig. K — Proporre, poi verificare
ilgattodormesottounsul
4 parole scritte con un solo passaggio del modello grande
Schema illustrativo: mostra l'idea, non misurazioni.
Accertato
Su T5-XXL, da 2 a 3 volte più veloce con uscite identiche, senza riaddestrare né modificare il modello. Oggi è un componente standard dei server di IA.
Fonte: Leviathan, Kalman & Matias, Speculative Decoding (ICML 2023)
Accertato
Il modello che propone è una piccola testa collegata agli strati interni del modello grande anziché un modello separato. Accelerazione riportata: fino a 6,5 volte, 1,4 volte meglio di EAGLE-2, e 1,38 volte più throughput anche con 64 richieste servite insieme.
Fonte: Li et al., EAGLE-3 (2025)
Promettente
Con 250 tentativi e i test stessi dei progetti come verificatore, un modello aperto corregge il 56 % di segnalazioni reali su GitHub (SWE-bench Lite) contro il 15,9 % in un tentativo, sopra il miglior risultato in un tentativo dell'epoca (43 %). Cinque tentativi del modello economico costavano meno di un tentativo dei modelli costosi, e ne risolvevano di più.
Tutto dipende dal verificatore. Per codice con test o una dimostrazione matematica, la verifica è affidabile. Per un saggio o un consiglio non c'è un test automatico: i voti a maggioranza e i modelli di valutazione si appiattiscono dopo qualche centinaio di tentativi, molto sotto ciò che permetterebbe un verificatore perfetto. E la decodifica speculativa accelera la scrittura, non il pensiero: non rende più intelligente il modello grande.
La verifica rafforza le altre leve di H6: una cascata ha bisogno di un giudice, uno strumento ha bisogno di test, un modello piccolo può provare spesso se qualcosa controlla il suo lavoro. Suggerisce anche un ruolo per la nostra gerarchia: le regole in cima alla piramide potrebbero fare da verificatori per i dettagli in basso.
Per domande sugli articoli di OrigoTech la cui risposta è una cifra o una data, lasciare che un modello piccolo risponda 10 volte e tenere solo le risposte confermate dal testo stesso dell'articolo. Confrontare l'accuratezza con una sola risposta di un modello grande.