Approfondimento · Folio II
Una biblioteca non è migliore perché ha più libri. Lo è quando si sono tolti i doppioni, le pagine strappate e i libri che si sanno già a memoria. Si può fare lo stesso con i dati di un'IA?
I grandi corpus vengono dal web: molte ripetizioni, pagine vuote di senso, testi quasi identici. Ogni testo inutile costa calcolo, energia e, come abbiamo visto nella parte I, capacità di memoria del modello.
Potare significa scegliere che cosa tenere. La domanda non è «quanti dati?», ma «quali dati?».
Togliere il rumore: un piccolo classificatore dà un voto a ogni testo (per esempio il suo valore educativo) e si tengono solo i migliori. Togliere i doppioni di significato: si colloca ogni testo in uno spazio dove i testi di senso vicino sono vicini, e si tiene un rappresentante per gruppo. Togliere ciò che il modello sa già: tenere gli esempi che gli insegnano ancora qualcosa.
Tutta l'arte sta nella misura: un buon voto permette di scartare molto senza perdere nulla, uno cattivo butta via tesori.
Fig. B — Il setaccio
utile doppione rumore
Schema illustrativo: mostra l'idea, non misurazioni.
Di solito l'errore cala lentamente quando si aggiungono dati (una «legge di potenza»). Sorscher e coautori mostrano che, con una buona misura di potatura, può calare in modo esponenziale, quindi molto più in fretta. Provato nella visione (CIFAR-10, ImageNet), con una misura economica che non richiede nemmeno etichette.
Fonte: Sorscher et al., Beyond neural scaling laws (NeurIPS 2022)
Risultato sottile: quando si hanno pochi dati conviene tenere gli esempi facili; quando se ne hanno molti, i difficili. In altre parole, una volta acquisite le basi, sono i casi rari e duri a insegnare di più.
Fonte: Sorscher et al., Beyond neural scaling laws (NeurIPS 2022)
SemDeDup (Meta) toglie testi o immagini quasi identici nel significato. Su un grande corpus di immagini, togliere il 50 % dei dati non costa quasi nulla in prestazioni e dimezza il tempo di addestramento. Sul testo (C4) il guadagno di efficienza è circa del 15 %.
FineWeb-Edu (Hugging Face) valuta da 0 a 5 il valore educativo di ogni pagina web con un piccolo modello addestrato sui giudizi di Llama 3 70B. Tiene solo i voti ≥ 3: 1.300 miliardi di token su 15.000. Risultato: 33,6 % su MMLU già con 38 miliardi di token, dove il miglior concorrente ne richiedeva 300 miliardi.
Fonte: Penedo et al., The FineWeb Datasets (Hugging Face, 2024)
Un filtro ha i gusti di chi l'ha addestrato. Quello di FineWeb-Edu favorisce nettamente i temi scolastici e la scrittura formale: si guadagna in qualità e si perde in varietà. Gli addestramenti molto lunghi hanno inoltre bisogno di abbastanza testi unici, e i filtri troppo severi finiscono per scarseggiarne. Infine, la maggior parte dei risultati spettacolari sulla curva esponenziale viene dalle immagini, non ancora dal testo su larga scala.
Fonte: Penedo et al., The FineWeb Datasets (Hugging Face, 2024)
Il risultato «facili quando mancano, difficili quando abbondano» è un sostegno diretto a H3 e H4: una volta apprese le regole, sono le eccezioni a valere oro. Una buona potatura somiglia alla nostra idea di compressione: tenere le regole e ciò che vi sfugge, scartare il resto. Ciò che manca ancora: una misura capace di distinguere un'eccezione preziosa dal semplice rumore, perché entrambi sono «sorprendenti».
H3 · Regole + eccezioni = compressione (35 %) H4 · Le eccezioni sono l'àncora (65 %)
Su un piccolo corpus, confrontare tre setacci: per qualità, per doppioni di significato e un setaccio «regole + eccezioni» che tenga un esempio tipico per gruppo più tutti i casi che se ne discostano. Poi vedere quale conserva meglio i casi rari.