Approfondimento · Folio IV
Nessuno chiama un chirurgo per una scheggia. Eppure molti servizi di IA mandano ogni domanda, facile o difficile, al loro modello più grande. Le cascate cambiano l'ordine: il modello meno caro prova per primo.
Le domande non sono tutte uguali. «Qual è la capitale d'Italia?» non richiede lo stesso modello di una dimostrazione ardua. Una cascata ordina i modelli dal meno caro al più caro e si ferma appena una risposta basta.
Uno smistatore fa la stessa cosa in un colpo solo: legge la domanda e prevede, prima di qualsiasi risposta, quale modello basterà.
Tutto dipende dal giudice che decide se una risposta è accettabile. In FrugalGPT (Stanford, 2023) è un piccolo modello di valutazione addestrato a stimare se una risposta è giusta; la cascata impara il miglior ordine dei modelli e una soglia per ogni passo.
Il giudice deve costare molto meno del passo successivo, altrimenti si perde ciò che si voleva risparmiare. E ogni tentativo fallito si paga: una domanda che sale fino in cima costa più che se ci fosse andata direttamente.
Fonte: Chen, Zaharia & Zou, FrugalGPT (2023)
Fig. G — La scala dei modelli
Domande:12345678
Costo medio per domanda: 5,4 · tutto al modello grande: 20 · −73 %
Schema illustrativo: mostra l'idea, non misurazioni.
Promettente
Nei suoi test, la cascata appresa eguaglia GPT-4 con un costo fino al 98 % più basso, oppure supera GPT-4 di 4 punti di accuratezza allo stesso prezzo. Lo studio parte da una constatazione: i prezzi dei diversi modelli differiscono fino a due ordini di grandezza.
Promettente
Uno smistatore addestrato sulle preferenze umane (Chatbot Arena) sceglie, per ogni domanda, tra un modello forte e uno debole. Su MT Bench mantiene il 95 % della qualità di GPT-4 a un costo 3,66 volte inferiore, senza l'attesa di una cascata.
Accertato
La stessa idea alla scala più piccola: un modello piccolo propone le parole successive e quello grande si limita a verificarle. Qui il risultato è garantito identico a quello del solo modello grande, da 2 a 3 volte più veloce. Vedi l'approfondimento sulla verifica.
Fonte: Leviathan, Kalman & Matias, Speculative Decoding (ICML 2023)
Il giudice può sbagliare: una risposta errata accettata in fondo alla scala non viene mai corretta. L'attesa: una domanda che sale tre gradini aspetta tre risposte, e una cascata difficilmente può mostrare la risposta parola per parola finché non sa se la terrà. La deriva: uno smistatore tarato su un tipo di domande può essere mal calibrato quando gli utenti iniziano a chiedere altro.
Secondo fattore di H6: la parte delle domande che arriva al modello grande. E un'eco diretta di H2, «imparare l'alto, consultare il basso»: una cascata è una gerarchia di modelli, in cui il più caro si consulta solo quando il meno caro non basta.
H6 · I risparmi si moltiplicano (40 %) H2 · Imparare l'alto, consultare il basso (75 %)
Classificare le domande che i lettori potrebbero fare su OrigoTech in tre livelli (un fatto in un articolo, un legame tra articoli, un vero ragionamento) e misurare quale parte un modello piccolo risolve bene da solo. Oltre la metà, il guadagno sarebbe reale per un sito come il nostro.