Approfondimento · Ipotesi
H1 alla prova: i nostri esperimenti
La gerarchia aiuta all’inizio sui dati sintetici; undici test su testi reali non mostrano un vantaggio sostanziale della vera gerarchia rispetto a etichette mescolate, solo una tendenza minima che si ripete. Esplora i protocolli e i limiti.
La domanda
H1 chiede se la struttura dei dati aiuti un modello a imparare con meno esempi. Confrontiamo etichette assenti, piatte, gerarchiche e mescolate a parità di budget.
H1 · La fame di dati nasce in parte da una gerarchia assente (55 %)
Quattro test sintetici
Tre semi iniziali e altri cinque mostrano un apprendimento iniziale più rapido con la gerarchia. Un controllo ha mescolato la struttura; un altro ha incrociato cinque mescolamenti e cinque semi. A 100 passi la perdita media era 2,0061 contro 2,0988; a 500 2,0003 contro 2,0045. Le cinque comparazioni per seme condividono il riferimento e non sono indipendenti.
Primo test su testi reali
Su otto categorie di 20 Newsgroups, un piccolo modello a byte inizializzato da zero è stato valutato su 640 messaggi e tre semi. A 200 passi la perdita era 2,73333 con gerarchia corretta e 2,73326 con etichette mescolate: nessun vantaggio chiaro. Il test ufficiale resta inutilizzato. Il modello senza etichetta ha persino la perdita più bassa (2,72897, contro 2,73162 con l'etichetta piatta): per ora il modello non usa le etichette, quindi questo test non poteva distinguere le due gerarchie. Versioni più solide seguono nelle sezioni qui sotto.
Addestramento più lungo, etichette rimosse
Il primo test su testi reali si fermava a 200 passi, prima che il modello usasse le sue etichette. Abbiamo addestrato lo stesso piccolo modello per 800 passi (tre semi, le stesse otto categorie) e, a ogni punto di controllo, lo abbiamo valutato anche con le etichette nascoste. Questo scarto è zero per un modello addestrato senza etichette; a 800 passi vale in media 0,009 nat per byte per l’etichetta piatta, 0,020 per il solo gruppo, 0,025 per la vera gerarchia e 0,031 per le etichette mescolate: le etichette ora vengono quindi usate.
Eppure a 800 passi la vera gerarchia e le etichette mescolate raggiungono la stessa perdita, 2,5210 nat per byte, contro 2,5292 senza etichetta e 2,5170 con il solo gruppo informatica/tempo libero. Dettagli: risultati, protocollo.
Fonte: OrigoTech, H1 real-text run: longer training with labels removed (results, JSON; protocol alongside)
Cinque codici mescolati
Un solo mescolamento poteva essere un colpo di fortuna. Abbiamo ripetuto il test con cinque diversi codici mescolati, nessuno dei quali conserva la divisione informatica/tempo libero, e cinque semi. A 800 passi la vera gerarchia raggiunge 2,5279 e la media dei cinque codici mescolati 2,5295: una differenza di 0,0016 nat per byte.
La vera gerarchia batte questa media su quattro semi su cinque, ma il suo posto tra i sei codici va dal primo all’ultimo (3º, 1º, 6º, 1º e 2º), e i soli cinque codici mescolati si disperdono di circa 0,005. La differenza è più piccola di questa dispersione, quindi la leggiamo come un risultato nullo.
Fonte: OrigoTech, H1 real-text run: five scrambled codes (results, JSON; protocol alongside)
Una tassonomia a tre livelli
Due gruppi di quattro categorie sono una gerarchia sottile. Abbiamo preso 16 newsgroup disposti su tre livelli (4 temi, 8 sottotemi, 16 foglie) e aggiunto codici parziali: solo il tema, poi tema più sottotema. A 800 passi ogni variante codificata si colloca tra 2,5187 e 2,5217 nat per byte, contro 2,5153 senza alcuna etichetta, il valore più basso.
La vera gerarchia (2,5198) batte la media di cinque codici mescolati (2,5206) di soli 0,0007, su quattro semi su cinque, di nuovo meno della dispersione di 0,005 tra codici mescolati. Aggiungere un livello non aiuta in modo chiaro: i passaggi successivi (tema, poi sottotema, poi foglia) cambiano la perdita di +0,0046, −0,0013 e +0,0012.
Fonte: OrigoTech, H1 real-text run: three-level taxonomy (results, JSON; protocol alongside)
Scansione della quantità di dati: 30, 100 e 300 per categoria
L’idea di H1 è che la struttura dovrebbe aiutare soprattutto quando i dati scarseggiano, quindi abbiamo addestrato lo stesso minuscolo modello per 800 passi con 30, 100 e 300 messaggi per categoria (gli insiemi piccoli sono contenuti in quelli grandi; cinque semi, cinque codici mescolati, le stesse otto categorie) e scritto tre previsioni in anticipo. Con 300 per categoria ritroviamo il quadro precedente: la vera gerarchia sta 0,0016 nat per byte sotto i codici mescolati, meno della dispersione di 0,0052 tra di essi (previsione 1, confermata).
Con 30 per categoria il modello va in sovradattamento: senza etichetta, la sua perdita sui messaggi tenuti da parte sale da 2,78 a 200 passi a 4,12 a 800, perché rivede circa 80 volte gli stessi 240 messaggi. La vera gerarchia sta 0,0124 sotto i codici mescolati, su quattro semi su cinque, ma gli stessi codici mescolati si disperdono già di 0,0891: la differenza si perde nel rumore (previsione 3, una differenza netta con 30 per categoria, fallita). Il modello si appoggia davvero di più alle etichette quando i dati scarseggiano: la perdita sale di 0,1243 nascondendo l’etichetta della vera gerarchia con 30 per categoria, contro 0,0474 con 300 (previsione 2, confermata). Il modello senza etichetta resta il migliore con 30 e con 100 per categoria. Dettagli: risultati, protocollo.
Regolarizzazione con pochi dati
Sovradattamento significa che il modello impara a memoria i suoi pochi esempi invece di ciò che vale anche per esempi nuovi. Abbiamo ripetuto il test con 30 e 100 per categoria con due freni classici: un dropout di 0,2 (unità casuali vengono spente durante l’addestramento) e un decadimento dei pesi di 0,1 (una spinta verso valori piccoli). Stessi semi e stessi codici mescolati della scansione, e di nuovo tre previsioni scritte in anticipo.
Il sovradattamento cala: con 30 per categoria e 800 passi la perdita senza etichetta è 2,8208, contro 4,12 senza regolarizzazione (previsione 1, confermata), e l’aumento di perdita nascondendo l’etichetta della vera gerarchia scende da 0,1243 a 0,0448 (previsione 2, confermata). La dispersione tra codici mescolati cala da 0,0891 a 0,0073. La vera gerarchia sta 0,0023 sotto di essi su quattro semi su cinque con 30 per categoria, e alla pari (0,0000, tre semi su cinque, dispersione 0,0020) con 100. La previsione 3 (almeno quattro semi su cinque e una differenza maggiore della dispersione, con 30 o con 100) è fallita. Dettagli: risultati, protocollo.
Replica con semi e permutazioni nuovi
Il test precedente aveva lasciato un piccolo segno negativo: la vera gerarchia leggermente sotto i codici mescolati a 200 e 400 passi. Un segno può essere fortuna, quindi abbiamo rifatto il test con cinque semi nuovi e cinque nuovi codici mescolati, con gli stessi dati e le stesse impostazioni. Osserviamo quattro celle (30 e 100 per categoria, a 200 e 400 passi), scelte dopo aver visto il test precedente, il che indebolisce la prova. Tre previsioni erano state scritte in anticipo.
Il segno è negativo in 4 celle su 4 (previsione 1, confermata), la vera gerarchia vince su almeno quattro semi su cinque in 3 celle su 4 (previsione 2, confermata) e nessuna cella mostra una differenza sostanziale, cioè maggiore della dispersione tra codici mescolati (previsione 3, almeno due celle su quattro, fallita: 0 su 4). Le differenze vanno da 0,0001 a 0,0013 nat per byte, contro dispersioni da 0,0012 a 0,0037. Dettagli: risultati, protocollo.
Altre categorie: scienze contro politica e società
Finora, a parte la tassonomia a tre livelli, tutti i test hanno usato le stesse otto categorie, quattro di informatica e quattro di tempo libero. Abbiamo ripetuto la replica su un’altra suddivisione: quattro gruppi di scienze (crittografia, elettronica, medicina, spazio) contro quattro gruppi di politica e società (armi, Medio Oriente, politica generale, religione cristiana), con semi nuovi, codici mescolati nuovi e le stesse impostazioni. Una quarta previsione verifica che il modello usi davvero le sue etichette.
Risultato: il segno è negativo in 4 celle su 4, la vera gerarchia vince su almeno quattro semi su cinque in 4 celle su 4 e 0 celle su 4 sono sostanziali. La differenza maggiore è 0,0016 nat per byte (30 per categoria, 400 passi), contro una dispersione di 0,0044. Il controllo regge (previsione 4, confermata): con 100 per categoria e 800 passi, nascondere l’etichetta fa salire la perdita di 0,0103 con la vera gerarchia e di 0,0110 con i codici mescolati, quindi il modello usa la sua etichetta sia coerente sia no. Dettagli: risultati, protocollo.
Un modello più grande: 4 strati, larghezza 128
Tutti i test precedenti usavano lo stesso minuscolo modello (2 strati, larghezza 64). Se il beneficio della gerarchia crescesse con la dimensione del modello, uno più grande lo mostrerebbe, quindi abbiamo cambiato solo l’architettura: 4 strati, larghezza 128, con le stesse prime otto categorie, 100 messaggi per categoria, cinque semi, cinque codici mescolati, dropout 0,2 e decadimento dei pesi 0,1 (non riadattati). Le due celle lette, 200 e 400 passi, erano fissate in anticipo; vengono mostrati anche gli 800 passi, ma non erano preregistrati.
La vera gerarchia sta 0,0006 sotto i codici mescolati a 200 passi e 0,0003 a 400 (differenze di −0,0006 e −0,0003 nat per byte), contro dispersioni di 0,0024 e 0,0062 tra codici mescolati. Vince su tre semi su cinque in entrambe le celle, e 0 celle su 2 sono sostanziali. A 800 passi (non preregistrato) il segno si inverte: +0,0005, un seme su cinque, dispersione 0,0086. La differenza non cresce quindi con la dimensione del modello. Il modello usa davvero la sua etichetta (nasconderla fa salire la perdita di 0,0191 a 800 passi), ma il modello senza etichetta resta il migliore a 800 passi: 2,3925, contro 2,3980 della vera gerarchia e 2,3975 dei codici mescolati. Dettagli: risultati, protocollo.
Modello più grande, altre categorie
Il risultato dipende dalle categorie informatica e tempo libero? Abbiamo tenuto il modello più grande e cambiato i dati con l’altra suddivisione: quattro gruppi di scienza contro quattro di politica e società, con semi nuovi e codici mescolati nuovi. Stesse celle, stesse impostazioni.
La differenza è −0,0004 a 200 passi (tre semi su cinque, dispersione 0,0018) e +0,0002 a 400 (due semi su cinque, dispersione 0,0050): una cella su 2 è negativa e 0 sono sostanziali. A 800 passi (non preregistrato) è −0,0015 (tre semi su cinque), ancora dentro la dispersione di 0,0078. Nascondere l’etichetta fa salire la perdita di 0,0179 a 800 passi, e il modello senza etichetta è di nuovo il migliore (2,3672, contro 2,3753 della vera gerarchia). Dettagli: risultati, protocollo.
Regolarizzazione più forte: dropout 0,3, decadimento dei pesi 0,3
Il modello più grande del primo test potrebbe semplicemente essere stato poco regolarizzato: con più spazio, può imparare a memoria i suoi messaggi di addestramento. Abbiamo tenuto il suo modello, i dati e le categorie e alzato i due freni insieme, a dropout 0,3 e decadimento dei pesi 0,3 (quindi i loro effetti separati non si distinguono), con cinque semi nuovi e cinque nuovi codici mescolati.
La differenza è −0,0008 a 200 passi (cinque semi su cinque, dispersione 0,0017) e −0,0010 a 400 (quattro semi su cinque, dispersione 0,0032): entrambe le celle sono negative, vincono su almeno quattro semi su cinque, e 0 sono sostanziali. A 800 passi (non preregistrato) il segno torna positivo, +0,0011 (un seme su cinque, dispersione 0,0042). Il modello senza etichetta migliora: 2,3717 a 800 passi, contro 2,3925 nel primo test con modello più grande (confronto non appaiato, con altri semi), il che suggerisce che quel test fosse probabilmente poco regolarizzato. Nascondere l’etichetta fa salire la perdita di 0,0116. Dettagli: risultati, protocollo.
Lettura d’insieme: una tendenza non sostanziale, riprodotta
Su tre insiemi di semi e due insiemi di categorie, la vera gerarchia sta molto leggermente sotto i codici mescolati tra 200 e 400 passi: differenze da circa 0,0002 a 0,0016 nat per byte, intorno allo 0,1%, sempre sotto la dispersione tra codici mescolati. La chiamiamo una tendenza non sostanziale, riprodotta: il segno ritorna, ma una differenza più piccola del rumore tra permutazioni non è un effetto che possiamo rivendicare.
Un secondo risultato conta altrettanto: il modello senza etichetta è migliore o uguale in quasi tutte le celle. Etichette coerenti disturbano un po’ meno di etichette sbagliate; non battono l’assenza di etichetta. Un’analisi congiunta dei due test regolarizzati sulle prime categorie (dieci semi, dieci codici mescolati) indica la stessa direzione, per esempio 10 semi su 10 con 100 per categoria e 400 passi, con una differenza di 0,0006 contro una dispersione di 0,0013. È esplorativa: nessun protocollo l’aveva prevista e non è un test di significatività.
Con il modello più grande (tre test), le differenze a 200 e 400 passi stanno tra −0,0010 e +0,0002 nat per byte; 0 celle su 6 sono sostanziali, e la differenza non cresce con la dimensione del modello. Una regolarizzazione più forte dà il segno più regolare (negativo in entrambe le celle, su cinque e quattro semi su cinque), comunque sotto la dispersione tra codici mescolati. A 800 passi il modello senza etichetta è migliore o uguale in tutti e tre i test. Lo leggiamo come una tendenza debole e non sostanziale, e il grande modello del primo test era probabilmente poco regolarizzato. Non rivendichiamo significatività né una percentuale di dati risparmiati; la fiducia del 55% in H1 non cambia.
Cosa non dimostrano i numeri
I dati sintetici favoriscono intenzionalmente la gerarchia. I test su testi reali usano un piccolo modello a byte inizializzato a caso, addestrato per al massimo 800 passi, su brevi inizi di vecchi messaggi inglesi di un solo corpus, e solo tre strutture di categorie (due suddivisioni in due gruppi da quattro e una tassonomia a tre livelli), tutte scelte da noi; le etichette sono presenti in valutazione. Le quattro celle replicate negli ultimi due test sono state scelte dopo il test regolarizzato e non sono indipendenti, perché gli stessi semi alimentano due checkpoint. La regolarizzazione è un’unica impostazione, dropout 0,2 e decadimento dei pesi 0,1, non ottimizzata; i test con il modello più grande aggiungono solo un’architettura maggiore (4 strati, larghezza 128), che non è una legge di scala, e un’impostazione più forte (dropout 0,3 e decadimento dei pesi 0,3, cambiati insieme). I confronti tra test non sono appaiati, con altri semi. Non facciamo alcun test di significatività, e questi test non misurano una percentuale di dati risparmiati né convalidano o smentiscono H1 per i grandi modelli. La fiducia del 55% non cambia.
E H10?
H10 resta in pausa. Lo Space pubblico contiene 14 esportazioni di esperimenti e 1.034 valori numerici; la serie completa conta 15 manche, descritte nella pagina del traduttore. Non sono risultati indipendenti né un punteggio di qualità. Sono disponibili anche protocolli e misure H1.
Altri approfondimenti
- Imparare in ordine
- Scartare con intelligenza
- Una memoria dentro il modello
- Il costo diventa logaritmico
- Pensare per idee, non per parole
- Accendere solo una parte del modello
- Chiedere prima al modello piccolo
- Distillare in programmi, non in modelli
- Calcolare con meno bit
- Cambiare la macchina
- Verificare costa meno che scrivere
- Come si combinano le sette piste
- Un modello piccolo all'altezza di un gigante?
- Un modello piccolo che migliora da solo, su un computer qualunque?
- Le ipotesi alla prova
- Tradurre un modello e tenere solo il necessario?
- Come funzionano i nostri esperimenti su H1
- H2 alla prova: i nostri piloti giocattolo
Fonti
- SetFit, 20 Newsgroups dataset
- OrigoTech, H1 real-text run: longer training with labels removed (results, JSON; protocol alongside)
- OrigoTech, H1 real-text run: five scrambled codes (results, JSON; protocol alongside)
- OrigoTech, H1 real-text run: three-level taxonomy (results, JSON; protocol alongside)
- OrigoTech, H1 real-text run: data-scale sweep, 30, 100 and 300 per category (results, JSON; protocol alongside)
- OrigoTech, H1 real-text run: regularized small data, dropout 0.2 and weight decay 0.1 (results, JSON; protocol alongside)
- OrigoTech, H1 real-text run: replication with new seeds and permutations (results, JSON; protocol alongside)
- OrigoTech, H1 real-text run: other category groups, science against politics and society (results, JSON; protocol alongside)
- OrigoTech, H1 real-text run: larger model, 4 layers and width 128 (results, JSON; protocol alongside)
- OrigoTech, H1 real-text run: larger model, other categories, science against politics and society (results, JSON; protocol alongside)
- OrigoTech, H1 real-text run: larger model, stronger regularization, dropout 0.3 and weight decay 0.3 (results, JSON; protocol alongside)
- OrigoTech AI Research Lab — H1, H2 and H10 results