Approfondimento · Folio IV
Distillare di solito significa insegnare a un modello piccolo a imitarne uno grande. C'è un'altra strada: chiedere al modello grande di scrivere un programma che risolva il problema, e poi eseguire il programma. Un programma non costa quasi nulla da eseguire, e si può leggere e verificare.
Molti compiti si ripetono con valori diversi: convertire una data, fissare una riunione, ordinare una lista secondo una regola. Rispondere ogni volta con un modello grande significa pagare ancora e ancora per lo stesso ragionamento.
L'alternativa: usare l'intelligenza una volta per produrre uno strumento, un breve programma, e poi riusarlo. È la differenza tra chiedere ogni somma a un matematico e chiedergli una volta di insegnarti a fare le addizioni.
In LATM (Large Language Models as Tool Makers, Google DeepMind e Princeton, 2023), un modello potente fa il fabbricante di strumenti: da pochi esempi scrive una funzione Python, la collauda e la accompagna con le istruzioni. Un modello più leggero fa l'utilizzatore: riconosce il tipo di problema e chiama la funzione.
Gli strumenti sono conservati in una cache di funzioni: invece di tenere risposte a parole, il sistema tiene il modo di produrle, per un'intera famiglia di domande.
Fonte: Cai et al., Large Language Models as Tool Makers (ICLR 2024)
Fig. H — Pagare una volta, poi quasi niente
Il modello grande risponde ogni voltaStrumento scritto una volta, poi riusatocosto di scrittura dello strumento
Schema illustrativo: mostra l'idea, non misurazioni.
Promettente
Su compiti di ragionamento difficili (Big-Bench), gli strumenti scritti da GPT-4 e usati da GPT-3.5 Turbo danno gli stessi risultati di GPT-4 che fa tutto, quando allora GPT-4 costava più di 15 volte tanto per chiamata. Il costo una tantum di fabbricazione si distribuisce su ogni uso.
Fonte: Cai et al., Large Language Models as Tool Makers (ICLR 2024)
Accertato
Google DeepMind abbina modelli Gemini a valutatori automatici per far evolvere programmi interi. Una regola di distribuzione dei compiti trovata per i data center di Google gira da oltre un anno e recupera in media lo 0,7 % delle risorse di calcolo mondiali di Google. Ha anche accelerato del 23 % un'operazione chiave di Gemini, l'1 % di tempo di addestramento in meno.
Accertato
Moltiplicare due matrici 4×4 di numeri complessi richiedeva 49 moltiplicazioni dal metodo di Strassen del 1969. AlphaEvolve ha trovato un modo con 48. Un piccolo passo, ma su un'operazione ripetuta miliardi di volte nell'IA. Qui il programma è il sapere distillato: esatto, leggibile, verificabile.
Non tutto sta in un programma. Tradurre una poesia o cogliere l'ironia non si riduce a una regola, ed è proprio lì che i grandi modelli brillano. Uno strumento va anche verificato: uno strumento sbagliato sbaglia in silenzio a ogni uso. Per questo AlphaEvolve funziona solo dove un valutatore automatico può dare un voto a ogni tentativo.
Questa pista parla a H3, «regole + eccezioni = compressione». Un programma è la forma più compatta di una regola: poche righe sostituiscono migliaia di esempi. Ciò che il programma non sa trattare diventa l'eccezione, lasciata al modello.
Individuare le domande ricorrenti su OrigoTech (conversioni di valuta, percentuali, date), chiedere a un modello grande di scrivere ogni funzione una volta, poi contare quante domande la funzione risolve correttamente senza alcun modello.