Aprofundamento · Método
Como funcionam as nossas experiências sobre H1
Um guia em linguagem simples dos nossos pequenos testes: o que é o modelo, o que é uma etiqueta, porque a misturamos e como ler um resultado nulo.
O que realmente treinamos
Um minúsculo modelo de linguagem: duas camadas, 64 números de largura, iniciado com valores aleatórios, por isso não sabe nada. Lê o texto byte a byte e aprende a adivinhar o byte seguinte. Treinamo-lo durante algumas centenas de passos nos primeiros 96 bytes de mensagens antigas de grupos de discussão, 300 por categoria, o que leva menos de um minuto numa GPU.
Os testes seguintes usam um modelo maior: quatro camadas, 128 números de largura, com a mesma receita de treino. Continua pequeno ao lado de um modelo de linguagem a sério.
As etiquetas
Antes de cada excerto escrevemos dois ou três símbolos extra. Com nenhuma etiqueta, ficam em branco. Com uma etiqueta plana, cada categoria tem o seu próprio símbolo. Com uma hierarquia, o primeiro símbolo indica um grupo (por exemplo computadores ou lazer) e os seguintes vão afunilando. Um código misturado tem a mesma forma mas atribui os códigos às categorias erradas. Testamos também o grupo isolado e, na taxonomia de três níveis, só o tema e tema mais subtema.
Porque misturamos
Uma hierarquia transporta duas coisas: informação (a que categoria pertence um texto) e estrutura (que categorias são irmãs). Um código misturado transporta a mesma informação, mas os seus grupos não significam nada. Se a hierarquia verdadeira vence as etiquetas misturadas, é a estrutura que ajuda; se não, qualquer código serve igualmente. Como uma única mistura pode ter sido sorte, repetimos com cinco e rejeitamos qualquer uma que mantenha os grupos verdadeiros.
Como pontuamos
Medimos a perda em mensagens reservadas, em nats por byte (quanto menor, melhor). Um modelo que adivinhasse cada byte ao acaso teria cerca de 5,5; os nossos terminam perto de 2,5. Dentro de uma semente, todas as condições recebem os mesmos dados, os mesmos lotes e os mesmos valores iniciais, pelo que só a etiqueta muda. Para ver se o modelo usa mesmo a sua etiqueta, pontuamo-lo também com a etiqueta apagada: é uma ablação, e a diferença entre as duas pontuações indica quanto ele depende dela.
Menos dados, mais passagens
Nos testes com poucos dados guardamos apenas as primeiras 30, 100 ou 300 mensagens de cada categoria; os conjuntos pequenos estão contidos nos grandes e cada tamanho é avaliado nas mesmas 640 mensagens reservadas, para que as perdas sejam comparáveis. O número de passos mantém-se em 800, pelo que um conjunto pequeno é visto muitas vezes: cerca de 80 com 30 mensagens por categoria. Um modelo que vê tantas vezes os mesmos poucos exemplos começa a decorá-los: é o sobreajuste, e vê-se numa perda sobre as mensagens reservadas que volta a subir (de 2,78 para 4,12 na nossa varredura).
Travões contra o sobreajuste
Para limitar o sobreajuste acrescentamos dois travões habituais, chamados regularização. O dropout de 0,2 desliga unidades da rede ao acaso em cada passo de treino, de modo que nenhum caminho isolado possa memorizar um exemplo. O decaimento de pesos de 0,1 puxa os pesos para valores pequenos em cada passo. Usamos uma única definição, escolhida uma vez e não otimizada, igual para todas as condições. A perda nas mensagens reservadas é sempre medida sem dropout.
Os testes com modelo maior partem dos mesmos 0,2 e 0,1 e depois usam uma definição mais forte, dropout 0,3 e decaimento de pesos 0,3, para verificar se o modelo maior decorava os exemplos. Continuamos a não afinar nada.
Primeiro as previsões
Cada protocolo e as suas previsões são escritos antes da execução. A revisão do conjunto de dados fica fixada, o conjunto de teste oficial nunca é usado e o código é identificado por uma impressão digital no ficheiro de resultados. Um resultado nulo é publicado como qualquer outro.
Num protocolo listamos também de antemão as células que vamos ler: uma célula é uma combinação de tamanho dos dados e número de passos. Uma célula pré-registada fica fixada antes da execução. Nos testes de replicação, as quatro células foram registadas antes da execução, mas escolhidas depois de ver um teste anterior; dizemo-lo, porque um leitor deve confiar um pouco menos nelas.
Material ou não
Os códigos misturados não dão todos a mesma perda: a sua amplitude, do melhor ao pior dos cinco (em média sobre as sementes), mede o ruído que vem apenas do código. Dizemos que uma diferença é material quando a hierarquia verdadeira bate a média dos códigos misturados por mais do que essa amplitude. Abaixo disso, a diferença pode vir de qual mistura calhou, e falamos de tendência não material. Outro número, a diferença de uso da etiqueta, é o aumento da perda quando a etiqueta é escondida: diz se o modelo a usa, não se a hierarquia é melhor do que códigos misturados.
Mundos de brinquedo para H2
Os pilotos de H2 usam um mundo de brinquedo em vez de texto: factos aleatórios e uma regra (soma módulo 10) que exige dois ou três deles, para distinguir o que um modelo memorizou do que calculou. Tal como em H1, as previsões são escritas antes de cada execução e o tamanho julgado é fixado de antemão. Na maioria dos pilotos a memória é um oráculo: os factos certos são postos no contexto, ignorando o custo e os erros da pesquisa; só os pilotos 4 e 6 corrompem a recuperação, por substituição aleatória ou por distratores aleatórios. Detalhes e números: pilotos de H2.
Como ler um resultado
Diferenças de um ou dois milésimos de nat por byte são menores do que a variação entre sementes ou entre códigos misturados, por isso não reivindicamos significância e nunca as convertemos numa percentagem de dados poupados. O que nos faria mudar de opinião: a hierarquia verdadeira a ficar sempre em primeiro, com uma diferença maior do que essa dispersão, e depois o mesmo num modelo pré-treinado maior.
Ficheiros
Cada número destas notas vem de um ficheiro que pode descarregar. Treino mais longo: resultados e protocolo. Cinco códigos misturados: resultados e protocolo. Taxonomia de três níveis: resultados e protocolo. Os resultados estão em JSON; os protocolos, em Markdown.
Testes posteriores: Varredura da quantidade de dados: resultados e protocolo. Poucos dados regularizados: resultados e protocolo. Replicação com sementes novas: resultados e protocolo. Outras categorias: resultados e protocolo. Mesmos formatos.
Modelo maior: resultados e protocolo. Modelo maior, outras categorias: resultados e protocolo. Modelo maior, regularização mais forte: resultados e protocolo. Mesmos formatos.
Outros aprofundamentos
- Aprender em ordem
- Descartar com inteligência
- Uma memória dentro do modelo
- O custo vira logarítmico
- Pensar em ideias, não em palavras
- Ligar só uma parte do modelo
- Perguntar primeiro ao modelo pequeno
- Destilar em programas, não em modelos
- Calcular com menos bits
- Mudar a máquina
- Verificar custa menos do que escrever
- Como as sete pistas se combinam
- Um modelo pequeno à altura de um gigante?
- Um modelo pequeno que melhora sozinho, num computador comum?
- As hipóteses à prova
- Traduzir um modelo e guardar só o necessário?
- H1 em teste: as nossas experiências
- H2 em teste: os nossos pilotos de brinquedo