Llama 3 8B ha 8 miliardi di parametri. I più grandi modelli aperti ne hanno mille miliardi o più. Si può colmare questo divario senza costruire un nuovo gigante? La nostra risposta sta in una frase: un modello piccolo non ha bisogno di essere grande, ha bisogno di avere accesso a ciò che il grande conserva nei suoi pesi. Ecco il ragionamento, i calcoli e i limiti.
Promettenteaggiornato il
I
La domanda, posta onestamente
Llama 3 8B è uscito nell'aprile 2024. È stato addestrato su più di 15 000 miliardi di token, ma conta solo 8 miliardi di parametri. Di fronte, Kimi K2 ne ha mille miliardi, e i modelli chiusi di punta sono probabilmente ancora più grandi, anche se non esiste alcun dato ufficiale. Il divario di dimensione va quindi da 125 volte a diverse centinaia di volte.
«Altrettanto bravo» va precisato, altrimenti la domanda non ha risposta. Bravo in cosa, e a quale costo? Un modello piccolo che eguaglia un gigante spendendo dieci volte di più non ha guadagnato niente. Cerchiamo quindi un modello piccolo che ottenga altrettante risposte giuste, a un costo paragonabile o inferiore, e diremo per quali tipi di compiti sembra possibile.
Quando un modello grande fa meglio, non si tratta di un solo vantaggio ma di quattro. Non si colmano allo stesso modo, ed è tutta la chiave del problema.
1. Il sapere, cioè i fatti ritenuti. Il taccuino l'ha visto fin dall'inizio: un modello immagazzina circa 2 bit di conoscenza per parametro. Facciamo il conto: 8 miliardi × 2 bit = 16 miliardi di bit, ossia circa 2 GB di conoscenze per Llama 3 8B. Per un modello da mille miliardi: circa 250 GB. Un rapporto di 125.
2. La portata: il modello sa, almeno ogni tanto, trovare la risposta giusta? Chiamiamo p la sua probabilità di riuscire al primo colpo. Se p vale zero, il problema è fuori dalla sua portata. 3. L'affidabilità: p non è nullo, ma è piccolo. Il modello sa farlo, solo che sbaglia spesso.
4. L'ampiezza: sapere un po' di tutto, collegare campi lontani, cogliere una sfumatura, giudicare una domanda aperta senza un'unica «risposta giusta».
La nostra idea centrale: ogni parte ha il suo rimedio. Il sapere va in una memoria esterna. La portata si impara da un maestro o si prende in prestito da uno strumento. L'affidabilità si compra provando più volte, a patto di avere un giudice. L'ampiezza non ha un rimedio semplice: è lì, pensiamo, che i parametri comprano davvero qualcosa.
Un modello non trova mai una risposta che non ha alcun modo di costruire. Due rimedi: imparare da un maestro che sa già (la distillazione), o prendere in prestito la capacità da uno strumento che ce l'ha (una calcolatrice, un interprete di codice). Questi due studi mostrano che uno scheletro «vecchio» basta.
Accertato
Uno scheletro vecchio, un maestro nuovo: DeepSeek-R1-Distill-Llama-8B
DeepSeek ha preso Llama 3.1 8B, della stessa famiglia di Llama 3, e lo ha addestrato su ragionamenti scritti dal suo grande modello R1. Risultato: 50,4 % alla gara di matematica AIME 2024, contro il 9,3 % di GPT-4o; 89,1 % su MATH-500, contro il 74,6 %; e nelle scienze (GPQA Diamond) 49,0 % contro 49,9 %, quasi alla pari. Per confronto, Meta indica il 51,9 % su MATH per il proprio Llama 3.1 8B, un test simile ma non identico. Il numero di parametri non è cambiato: è cambiato ciò che gli è stato insegnato.
Prendere in prestito la capacità: ToRA, con uno strumento di calcolo
ToRA insegna a un modello ad alternare ragionamento a parole e piccoli programmi che fa eseguire: calcoli, algebra simbolica. Costruito su Llama 2 (2023), ToRA-7B raggiunge il 44,6 % su MATH, 22 punti più del miglior modello aperto dell'epoca, che era dieci volte più grande (70 miliardi). La versione da 34 miliardi supera persino GPT-4 che ragiona senza strumento. Lo strumento non sbaglia i calcoli: al modello resta solo da sapere cosa chiedergli.
Colmare l'affidabilità: provare più volte, e selezionare
Quando p è piccolo ma non nullo, il rimedio è semplice in linea di principio: provare più volte e tenere il tentativo giusto. Tutto dipende allora dal giudice che lo riconosce. Tre studi misurano fin dove si arriva.
Accertato
Large Language Monkeys: 250 tentativi (2024)
Moltiplicando i tentativi, la quota di problemi risolti da almeno un tentativo sale con regolarità lungo quattro ordini di grandezza. Su SWE-bench Lite, un banco di prova fatto di veri ticket presi da progetti GitHub, un modello passa dal 15,9 % con un tentativo al 56 % con 250, sopra il miglior punteggio dell'epoca in un solo tentativo (43 %). Ma dove niente verifica automaticamente, scegliere per voto o con un modello di valutazione si blocca oltre qualche centinaio di tentativi.
Con una strategia di tentativi ben regolata e un modello che valuta ogni passo del ragionamento, Llama 3.2 1B ottiene il 72,2 % su MATH-500 con 512 tentativi, contro il 71,4 % di Llama 3.1 405B in un tentativo. Una vittoria di misura, e il piccolo perde ad AIME 2024, più difficile. Il nostro calcolo: 512 tentativi di un modello da 1 miliardo mobilitano più o meno tanti parametri per parola quanto un tentativo del modello da 405 miliardi (512 contro 405), senza contare il giudice. A calcolo quasi uguale, il piccolo pareggia.
rStar-Math: cercare come negli scacchi (Microsoft, 2025)
Un modello piccolo esplora le soluzioni passo dopo passo, come un programma di scacchi esplora le mosse, guidato da un secondo modello piccolo che giudica ogni passo. I due migliorano insieme in quattro turni, su 747 000 problemi. Qwen2.5-Math-7B passa dal 58,8 % al 90,0 % su MATH, e Phi3-mini (3,8 miliardi) dal 41,4 % all'86,4 %, sopra o1-preview. Gli autori non hanno distillato alcun modello più forte.
Colmare il sapere: una memoria, e degli specialisti
Per i fatti, il rimedio sembra ovvio: non impararli, consultarli. I risultati sono più sfumati di quanto si pensi. E per la specialità funziona un'altra idea: tanti piccoli specialisti invece di un solo generalista.
Accertato
MassiveDS: mille miliardi di token da consultare (2024)
Un gruppo dell'Università di Washington ha costruito una base di 1400 miliardi di token che il modello consulta mentre risponde. Sulle domande di fatti (TriviaQA, Natural Questions), Llama 2 7B con una base di meno di 100 miliardi di token batte Llama 2 13B e Llama 3 8B senza base. Ma su MMLU e MedQA, che chiedono più ragionamento, la memoria non permette al piccolo di superare il grande. Consultare porta fatti, non il ragionamento che li collega.
Predibase ha affinato 310 piccoli modelli (10 modelli di base × 31 compiti) con adattatori LoRA a 4 bit. In media battono il loro modello di base di 34 punti e GPT-4 di 10 punti, ciascuno sul proprio compito. E grazie alla condivisione del modello di base, 25 specialisti Mistral 7B stanno su una sola scheda grafica da 80 GB. Limite: si tratta di compiti stretti e ben definiti, non di una conversazione libera.
Costruiamo un modello semplice. Un tentativo del modello piccolo riesce con probabilità p. Con k tentativi indipendenti e un giudice perfetto, la probabilità che almeno uno sia giusto vale 1 − (1 − p)ᵏ. Per esempio, con p = 30 % e 5 tentativi: 1 − 0,7⁵ = 1 − 0,168 = 83 %.
Quanti tentativi per eguagliare un modello grande che indovina l'80 % delle volte al primo colpo? Serve 1 − (1 − p)ᵏ ≥ 0,8, cioè k ≥ ln(0,2) / ln(1 − p). Per p = 30 %: 5 tentativi. Per 12 %: 13 tentativi. Per 5 %: 32 tentativi. Per 0 %: mai. È la figura qui sotto.
Resta il costo. Un tentativo del piccolo costa una frazione c di un tentativo del grande, all'incirca il rapporto tra i parametri attivi per parola. Il piccolo conviene se k × c < 1. Combinando le due formule si trova una soglia: il piccolo vince non appena p supera 1 − 0,2ᶜ. Questa soglia dipende moltissimo dal gigante che ha di fronte.
Contro un gigante denso da 2000 miliardi di parametri, c = 8 / 2000 = 0,004 e la soglia scende allo 0,6 %: quasi tutto ciò che il piccolo sa fare, anche raramente, diventa conveniente. Contro un gigante a esperti con 100 miliardi di parametri attivi, c = 0,08 e la soglia sale al 12 %. Contro Kimi K2 e i suoi 32 miliardi attivi, c = 0,25 e la soglia arriva al 33 %.
Due lezioni. Primo, più il gigante è parsimonioso, più è difficile da battere: i giganti a esperti, che accendono solo una piccola parte di sé, riducono il vantaggio del piccolo. Secondo, il giudice è il pezzo chiave: senza di lui non si sa quale dei k tentativi tenere. Infine, un avvertimento onesto: il nostro calcolo suppone tentativi indipendenti e un giudice gratuito. In realtà un modello ripete spesso lo stesso errore, e Brown e i suoi coautori osservano una salita più lenta della nostra formula: all'incirca lo stesso guadagno a ogni raddoppio del numero di tentativi. Servono quindi più tentativi di quanti ne indichi questo calcolo.
Fig. M — Raggiungere il gigante a forza di tentativi
Indovina il 30 % delle volte: bastano 5 tentativi12 %: 13 tentativi5 %: 32 tentativi0 %: mai
Schema illustrativo: mostra l'idea, non misurazioni.
Ogni curva segue la formula 1 − (1 − p)ᵏ: la probabilità che almeno uno di k tentativi sia giusto, se un giudice sa riconoscerlo. I punti indicano dove il modello piccolo raggiunge un modello grande che indovina l'80 % delle volte al primo colpo. Calcolo ideale: in realtà i tentativi di uno stesso modello si somigliano, e ne servono di più.VII
Il piano: la bottega del modello piccolo
Ecco la nostra proposta. Riunisce le piste del taccuino intorno al modello piccolo, come gli apprendisti e gli attrezzi intorno al maestro nella bottega di Leonardo. Sei pezzi.
1. Uno smistatore riconosce il tipo di domanda (calcolo, codice, fatto, scrittura) e sceglie i pezzi utili. 2. Una biblioteca di specialisti: adattatori LoRA, uno per dominio, appresi da un modello grande. Il nostro calcolo: un adattatore di rango 16 su tutti gli strati di Llama 3 8B conta circa 42 milioni di parametri, lo 0,5 % del modello e circa 84 MB. Mille specialisti pesano 84 GB e se ne accende uno solo alla volta: è una miscela di esperti, ma alla scala del sistema.
3. Una memoria esterna gerarchica, come nelle parti II e III: i fatti non stanno nei pesi ma in una base ordinata ad alberi e a grafi. 4. Una cassetta di strumenti e di programmi: calcolatrice, interprete di codice, risolutori, e i programmi già trovati, riutilizzati come la biblioteca di abilità di Voyager.
5. Un giudice: test per il codice, un ricalcolo per la matematica, un modello che valuta i passi altrove. Il modello piccolo prova più volte, il giudice seleziona. 6. Un ricorso: se niente supera il giudice, la domanda sale al modello grande, come in una cascata. La sua risposta, una volta verificata, serve ad addestrare lo specialista successivo: la cima della piramide insegna alla base (ipotesi H7).
Un ultimo calcolo dice se l'insieme conviene. Ogni domanda costa k × c (i tentativi del piccolo) più la quota e di domande che salgono al grande. Con 8 tentativi a c = 0,08, fa 0,64 + e. La bottega conviene finché meno del 36 % delle domande sale. Al 10 %, costa 0,74, circa un quarto in meno del gigante da solo. E ogni domanda che sale arricchisce gli specialisti, quindi e dovrebbe calare col tempo.
Buona notizia: l'età dei pesi conta meno di ciò che gli si insegna dopo. ToRA è stato costruito su Llama 2 (2023); DeepSeek-R1-Distill-Llama-8B su Llama 3.1 8B, della stessa famiglia di Llama 3. In entrambi i casi, un addestramento aggiuntivo su buoni esempi ha fatto balzare i risultati.
I veri limiti di Llama 3 8B sono altrove. La sua finestra di contesto: 8000 token, circa 6000 parole, una dozzina di pagine. È poco per leggere documenti presi da una memoria; Llama 3.1 l'ha portata a 128 000. Il suo punto di partenza in matematica: 30 % su MATH, secondo Meta. Più il punto di partenza è basso, più p è piccolo, e più servono tentativi, o un maestro.
La nostra ricetta per un vecchio modello, in ordine: prima un adattatore appreso da un maestro, perché sappia ragionare a lungo e chiamare strumenti; poi la memoria e gli strumenti, per i fatti e i calcoli; infine i tentativi multipli con un giudice, dove ce n'è uno. L'ordine conta: i tentativi multipli aiutano solo se p è già abbastanza grande, ed è il maestro a farlo salire.
Le domande senza giudice. Scrivere, consigliare, decidere una questione aperta: nessun programma dice quale tentativo è il migliore. Scegliere per voto o con un modello di valutazione si blocca dopo qualche centinaio di tentativi.
La portata nulla. Se p vale zero, nessun numero di tentativi aiuta. Lo stesso apprendimento per rinforzo non va oltre ciò che il modello di base trova in molti tentativi. Servono allora un maestro o uno strumento, e non sempre esistono.
L'ampiezza. Collegare mille fatti sparsi, cogliere una sfumatura, tenere a mente un documento lungo. La memoria aiuta per un fatto preciso, molto meno per ragionare su tanti fatti insieme: MassiveDS non aiutava il piccolo a superare il grande su MMLU. È lì, pensiamo, che i parametri comprano davvero qualcosa.
Il tempo. Trentadue tentativi richiedono tempo, o macchine in parallelo. Per una conversazione fluida è un vero freno, anche quando il costo totale è più basso.
Sui compiti verificabili, il divario è soprattutto di affidabilità · 65 %
In matematica, nel codice con test, nelle dimostrazioni formali, il modello piccolo trova spesso la risposta giusta qualche volta: moltiplicarlo con tentativi e un giudice colma l'essenziale del divario. Questa scommessa cadrebbe se si trovassero molti problemi che il gigante risolve e il piccolo non risolve mai, nemmeno in mille tentativi.
Speculativo
I fatti isolati si comprano col disco, non coi parametri · 60 %
Per una domanda la cui risposta sta in un documento, una buona memoria esterna vale centinaia di miliardi di parametri. Per una domanda che chiede di combinare molti fatti, molto meno.
Speculativo
Un vecchio 8B ben attrezzato eguaglia un gigante su un elenco chiuso di compiti · 55 %
Su un insieme definito di compiti verificabili, un Llama 3 8B con adattatori, una memoria, strumenti e un giudice raggiungerebbe il livello di un modello da mille miliardi di parametri, a un costo paragonabile. È la nostra ipotesi H8.
Speculativo
Sui compiti aperti, il divario resterà · 70 %
Scrivere, consigliare, giudicare: senza verificatore, moltiplicare i tentativi non serve quasi a niente, e l'ampiezza non si distilla in un adattatore. Pensiamo che qui i giganti conservino un netto vantaggio.
XI
L'esperimento da fare, e le nostre previsioni
Prendere Llama 3.1 8B, o Llama 3 8B per rendere la prova più dura, e costruire la bottega. Confrontarla, a parità di costo, con un modello di punta su quattro famiglie di compiti: matematica (MATH-500, AIME), codice con test (LiveCodeBench), fatti con memoria (TriviaQA, Natural Questions) e domande aperte giudicate da persone.
Le nostre previsioni, scritte prima di qualunque esperimento perché ci si possa dare torto. In matematica e nel codice: a meno di 5 punti dal gigante, a costo uguale o inferiore. Sui fatti: a meno di 10 punti con una buona memoria. Sulle domande aperte: un ritardo netto. Se il divario in matematica supera i 15 punti, la nostra scommessa sull'affidabilità cade, e abbasseremo H8.