L'IA di domani Glossario
IT

← Torna al quaderno

Approfondimento · Metodo

Come funzionano i nostri esperimenti su H1

Una guida in linguaggio semplice ai nostri piccoli test: che cos’è il modello, che cos’è un’etichetta, perché la mescoliamo e come leggere un risultato nullo.

Speculativo aggiornato il

I

Che cosa addestriamo davvero

Un minuscolo modello linguistico: due strati, larghi 64 numeri, partito da valori casuali, quindi non sa nulla. Legge il testo un byte alla volta e impara a indovinare il byte successivo. Lo addestriamo per qualche centinaio di passi sui primi 96 byte di vecchi messaggi di newsgroup, 300 per categoria, il che richiede meno di un minuto su una GPU.

I test successivi usano un modello più grande: quattro strati, larghi 128 numeri, con la stessa ricetta di addestramento. Resta piccolo rispetto a un vero modello linguistico.

II

Le etichette

Prima di ogni frammento scriviamo due o tre simboli in più. Con nessuna etichetta sono vuoti. Con un’etichetta piatta ogni categoria ha un proprio simbolo. Con una gerarchia il primo simbolo indica un gruppo (per esempio informatica o tempo libero) e i successivi lo restringono. Un codice mescolato ha la stessa forma ma assegna i codici alle categorie sbagliate. Proviamo anche il solo gruppo e, nella tassonomia a tre livelli, il solo tema e tema più sottotema.

III

Perché mescoliamo

Una gerarchia porta due cose: informazione (a quale categoria appartiene un testo) e struttura (quali categorie sono sorelle). Un codice mescolato porta la stessa informazione, ma i suoi gruppi non significano nulla. Se la vera gerarchia batte le etichette mescolate, a aiutare è la struttura; altrimenti qualsiasi codice funziona altrettanto bene. Poiché un solo mescolamento potrebbe essere fortunato, ne ripetiamo cinque e scartiamo quelli che conservano i veri gruppi.

IV

Come valutiamo

Misuriamo la perdita su messaggi tenuti da parte, in nat per byte (più basso è meglio). Un modello che indovinasse ogni byte a caso otterrebbe circa 5,5; i nostri finiscono vicino a 2,5. All’interno di un seme, ogni condizione riceve gli stessi dati, gli stessi lotti e gli stessi valori iniziali, quindi cambia solo l’etichetta. Per vedere se il modello usa davvero la sua etichetta, lo valutiamo anche con l’etichetta cancellata: è un’ablazione, e lo scarto tra i due punteggi indica quanto il modello vi si affida.

V

Meno dati, più passaggi

Nei test con pochi dati teniamo solo i primi 30, 100 o 300 messaggi di ogni categoria; gli insiemi piccoli sono contenuti in quelli grandi e ogni dimensione è valutata sugli stessi 640 messaggi tenuti da parte, così le perdite sono confrontabili. Il numero di passi resta 800, quindi un insieme piccolo viene rivisto molte volte: circa 80 con 30 messaggi per categoria. Un modello che rivede così spesso gli stessi pochi esempi comincia a impararli a memoria: è il sovradattamento, e si vede in una perdita sui messaggi tenuti da parte che risale (da 2,78 a 4,12 nella nostra scansione).

VI

Freni contro il sovradattamento

Per limitare il sovradattamento aggiungiamo due freni classici, chiamati regolarizzazione. Il dropout di 0,2 spegne unità casuali della rete a ogni passo di addestramento, così nessun percorso singolo può memorizzare un esempio. Il decadimento dei pesi di 0,1 spinge i pesi verso valori piccoli a ogni passo. Usiamo una sola impostazione, scelta una volta e non ottimizzata, uguale per tutte le condizioni. La perdita sui messaggi tenuti da parte è sempre misurata senza dropout.

I test con il modello più grande partono dagli stessi 0,2 e 0,1, poi usano un’impostazione più forte, dropout 0,3 e decadimento dei pesi 0,3, per verificare se il modello maggiore imparasse a memoria gli esempi. Non ottimizziamo comunque nulla.

VII

Prima le previsioni

Ogni protocollo e le sue previsioni sono scritti prima dell’esecuzione. La revisione del dataset è fissata, lo split di test ufficiale non è mai usato e il codice è identificato da un’impronta nel file dei risultati. Un risultato nullo viene pubblicato come qualsiasi altro.

In un protocollo elenchiamo in anticipo anche le celle che leggeremo: una cella è una combinazione di dimensione dei dati e numero di passi. Una cella preregistrata è fissata prima dell’esecuzione. Nei test di replica le quattro celle sono state registrate prima dell’esecuzione ma scelte dopo aver visto un test precedente; lo diciamo, perché un lettore deve fidarsene un po’ meno.

VIII

Sostanziale o no

I codici mescolati non danno tutti la stessa perdita: il loro intervallo, dal migliore al peggiore dei cinque (mediato sui semi), misura il rumore che viene dal solo codice. Diciamo che una differenza è sostanziale quando la vera gerarchia batte la media dei codici mescolati di più di quell’intervallo. Sotto, la differenza potrebbe dipendere da quale mescolamento è capitato, e parliamo di tendenza non sostanziale. Un’altra cifra, la differenza d’uso dell’etichetta, è l’aumento della perdita quando l’etichetta viene nascosta: dice se il modello la usa, non se la gerarchia è meglio di codici mescolati.

IX

Mondi giocattolo per H2

I piloti H2 usano un mondo giocattolo invece del testo: fatti casuali e una regola (somma modulo 10) che ne richiede due o tre, per distinguere ciò che un modello ha memorizzato da ciò che ha calcolato. Come per H1, le previsioni sono scritte prima di ogni esecuzione e la dimensione giudicata è fissata in anticipo. Nella maggior parte dei piloti la memoria è un oracolo: i fatti giusti sono messi nel contesto, quindi costo ed errori della ricerca sono ignorati; solo i piloti 4 e 6 corrompono il recupero, con una sostituzione casuale o con distrattori casuali. Dettagli e cifre: piloti H2.

X

Come leggere un risultato

Differenze di uno o due millesimi di nat per byte sono più piccole della variazione tra semi o tra codici mescolati, quindi non rivendichiamo alcuna significatività e non le trasformiamo mai in una percentuale di dati risparmiati. Che cosa ci farebbe cambiare idea: la vera gerarchia che arriva prima in modo costante, con un divario maggiore di quella dispersione, e poi lo stesso risultato su un modello preaddestrato più grande.

XI

File

Ogni cifra di queste note proviene da un file che puoi scaricare. Addestramento più lungo: risultati e protocollo. Cinque codici mescolati: risultati e protocollo. Tassonomia a tre livelli: risultati e protocollo. I risultati sono in JSON; i protocolli in Markdown.

Test successivi: Scansione della quantità di dati: risultati e protocollo. Pochi dati regolarizzati: risultati e protocollo. Replica con semi nuovi: risultati e protocollo. Altre categorie: risultati e protocollo. Stessi formati.

Modello più grande: risultati e protocollo. Modello più grande, altre categorie: risultati e protocollo. Modello più grande, regolarizzazione più forte: risultati e protocollo. Stessi formati.

Torna su