A IA do amanhã Glossário
PT

← Voltar ao caderno

Aprofundamento · Método

Como funcionam as nossas experiências sobre H1

Um guia em linguagem simples dos nossos pequenos testes: o que é o modelo, o que é uma etiqueta, porque a misturamos e como ler um resultado nulo.

Especulativo atualizado em

I

O que realmente treinamos

Um minúsculo modelo de linguagem: duas camadas, 64 números de largura, iniciado com valores aleatórios, por isso não sabe nada. Lê o texto byte a byte e aprende a adivinhar o byte seguinte. Treinamo-lo durante algumas centenas de passos nos primeiros 96 bytes de mensagens antigas de grupos de discussão, 300 por categoria, o que leva menos de um minuto numa GPU.

Os testes seguintes usam um modelo maior: quatro camadas, 128 números de largura, com a mesma receita de treino. Continua pequeno ao lado de um modelo de linguagem a sério.

II

As etiquetas

Antes de cada excerto escrevemos dois ou três símbolos extra. Com nenhuma etiqueta, ficam em branco. Com uma etiqueta plana, cada categoria tem o seu próprio símbolo. Com uma hierarquia, o primeiro símbolo indica um grupo (por exemplo computadores ou lazer) e os seguintes vão afunilando. Um código misturado tem a mesma forma mas atribui os códigos às categorias erradas. Testamos também o grupo isolado e, na taxonomia de três níveis, só o tema e tema mais subtema.

III

Porque misturamos

Uma hierarquia transporta duas coisas: informação (a que categoria pertence um texto) e estrutura (que categorias são irmãs). Um código misturado transporta a mesma informação, mas os seus grupos não significam nada. Se a hierarquia verdadeira vence as etiquetas misturadas, é a estrutura que ajuda; se não, qualquer código serve igualmente. Como uma única mistura pode ter sido sorte, repetimos com cinco e rejeitamos qualquer uma que mantenha os grupos verdadeiros.

IV

Como pontuamos

Medimos a perda em mensagens reservadas, em nats por byte (quanto menor, melhor). Um modelo que adivinhasse cada byte ao acaso teria cerca de 5,5; os nossos terminam perto de 2,5. Dentro de uma semente, todas as condições recebem os mesmos dados, os mesmos lotes e os mesmos valores iniciais, pelo que só a etiqueta muda. Para ver se o modelo usa mesmo a sua etiqueta, pontuamo-lo também com a etiqueta apagada: é uma ablação, e a diferença entre as duas pontuações indica quanto ele depende dela.

V

Menos dados, mais passagens

Nos testes com poucos dados guardamos apenas as primeiras 30, 100 ou 300 mensagens de cada categoria; os conjuntos pequenos estão contidos nos grandes e cada tamanho é avaliado nas mesmas 640 mensagens reservadas, para que as perdas sejam comparáveis. O número de passos mantém-se em 800, pelo que um conjunto pequeno é visto muitas vezes: cerca de 80 com 30 mensagens por categoria. Um modelo que vê tantas vezes os mesmos poucos exemplos começa a decorá-los: é o sobreajuste, e vê-se numa perda sobre as mensagens reservadas que volta a subir (de 2,78 para 4,12 na nossa varredura).

VI

Travões contra o sobreajuste

Para limitar o sobreajuste acrescentamos dois travões habituais, chamados regularização. O dropout de 0,2 desliga unidades da rede ao acaso em cada passo de treino, de modo que nenhum caminho isolado possa memorizar um exemplo. O decaimento de pesos de 0,1 puxa os pesos para valores pequenos em cada passo. Usamos uma única definição, escolhida uma vez e não otimizada, igual para todas as condições. A perda nas mensagens reservadas é sempre medida sem dropout.

Os testes com modelo maior partem dos mesmos 0,2 e 0,1 e depois usam uma definição mais forte, dropout 0,3 e decaimento de pesos 0,3, para verificar se o modelo maior decorava os exemplos. Continuamos a não afinar nada.

VII

Primeiro as previsões

Cada protocolo e as suas previsões são escritos antes da execução. A revisão do conjunto de dados fica fixada, o conjunto de teste oficial nunca é usado e o código é identificado por uma impressão digital no ficheiro de resultados. Um resultado nulo é publicado como qualquer outro.

Num protocolo listamos também de antemão as células que vamos ler: uma célula é uma combinação de tamanho dos dados e número de passos. Uma célula pré-registada fica fixada antes da execução. Nos testes de replicação, as quatro células foram registadas antes da execução, mas escolhidas depois de ver um teste anterior; dizemo-lo, porque um leitor deve confiar um pouco menos nelas.

VIII

Material ou não

Os códigos misturados não dão todos a mesma perda: a sua amplitude, do melhor ao pior dos cinco (em média sobre as sementes), mede o ruído que vem apenas do código. Dizemos que uma diferença é material quando a hierarquia verdadeira bate a média dos códigos misturados por mais do que essa amplitude. Abaixo disso, a diferença pode vir de qual mistura calhou, e falamos de tendência não material. Outro número, a diferença de uso da etiqueta, é o aumento da perda quando a etiqueta é escondida: diz se o modelo a usa, não se a hierarquia é melhor do que códigos misturados.

IX

Mundos de brinquedo para H2

Os pilotos de H2 usam um mundo de brinquedo em vez de texto: factos aleatórios e uma regra (soma módulo 10) que exige dois ou três deles, para distinguir o que um modelo memorizou do que calculou. Tal como em H1, as previsões são escritas antes de cada execução e o tamanho julgado é fixado de antemão. Na maioria dos pilotos a memória é um oráculo: os factos certos são postos no contexto, ignorando o custo e os erros da pesquisa; só os pilotos 4 e 6 corrompem a recuperação, por substituição aleatória ou por distratores aleatórios. Detalhes e números: pilotos de H2.

X

Como ler um resultado

Diferenças de um ou dois milésimos de nat por byte são menores do que a variação entre sementes ou entre códigos misturados, por isso não reivindicamos significância e nunca as convertemos numa percentagem de dados poupados. O que nos faria mudar de opinião: a hierarquia verdadeira a ficar sempre em primeiro, com uma diferença maior do que essa dispersão, e depois o mesmo num modelo pré-treinado maior.

XI

Ficheiros

Cada número destas notas vem de um ficheiro que pode descarregar. Treino mais longo: resultados e protocolo. Cinco códigos misturados: resultados e protocolo. Taxonomia de três níveis: resultados e protocolo. Os resultados estão em JSON; os protocolos, em Markdown.

Testes posteriores: Varredura da quantidade de dados: resultados e protocolo. Poucos dados regularizados: resultados e protocolo. Replicação com sementes novas: resultados e protocolo. Outras categorias: resultados e protocolo. Mesmos formatos.

Modelo maior: resultados e protocolo. Modelo maior, outras categorias: resultados e protocolo. Modelo maior, regularização mais forte: resultados e protocolo. Mesmos formatos.

Voltar ao topo