A IA do amanhã Glossário
PT

← Voltar ao caderno

Aprofundamento · Hipóteses

H1 em teste: as nossas experiências

A hierarquia ajuda no início com dados sintéticos; onze testes com textos reais não mostram vantagem material da hierarquia verdadeira sobre etiquetas misturadas, apenas uma tendência mínima que se repete. Explore os protocolos e os limites.

Especulativo atualizado em

I

A pergunta

H1 pergunta se a estrutura dos dados ajuda um modelo a aprender com menos exemplos. Comparamos etiquetas ausentes, planas, hierárquicas e misturadas com o mesmo orçamento.

II

Quatro pilotos sintéticos

Três sementes iniciais e cinco novas mostraram aprendizagem inicial mais rápida com hierarquia. Um controlo misturou a estrutura; outro cruzou cinco misturas com cinco sementes. Aos 100 passos a perda média foi 2,0061 contra 2,0988; aos 500, 2,0003 contra 2,0045. As cinco comparações por semente partilham a referência e não são independentes.

III

Primeiro teste com textos reais

Em oito categorias de 20 Newsgroups, um pequeno modelo de bytes iniciado do zero foi avaliado em 640 mensagens e três sementes. Aos 200 passos a perda foi 2,73333 com a hierarquia correta e 2,73326 com a mistura: sem vantagem clara. O teste oficial continua por utilizar. O modelo sem etiqueta teve até a perda mais baixa (2,72897, contra 2,73162 com a etiqueta plana): por agora o modelo não usa as etiquetas, por isso este teste não podia separar as duas hierarquias. Versões mais sólidas seguem nas secções abaixo.

Fonte: SetFit, 20 Newsgroups dataset

IV

Treino mais longo, etiquetas removidas

O primeiro teste com textos reais parava aos 200 passos, antes de o modelo usar as suas etiquetas. Treinámos o mesmo pequeno modelo durante 800 passos (três sementes, as mesmas oito categorias) e, em cada ponto de controlo, avaliámo-lo também com as etiquetas ocultas. Essa diferença é zero num modelo treinado sem etiquetas; aos 800 passos vale em média 0,009 nats por byte para a etiqueta plana, 0,020 para o grupo isolado, 0,025 para a hierarquia verdadeira e 0,031 para as etiquetas misturadas, pelo que as etiquetas passam agora a ser usadas.

Mesmo assim, aos 800 passos a hierarquia verdadeira e as etiquetas misturadas atingem a mesma perda, 2,5210 nats por byte, contra 2,5292 sem etiqueta e 2,5170 só com o grupo computadores/lazer. Detalhes: resultados, protocolo.

Fonte: OrigoTech, H1 real-text run: longer training with labels removed (results, JSON; protocol alongside)

V

Cinco códigos misturados

Uma única mistura podia ser um golpe de sorte. Repetimos o teste com cinco códigos misturados diferentes, nenhum dos quais mantém a divisão computadores/lazer, e cinco sementes. Aos 800 passos a hierarquia verdadeira atinge 2,5279 e a média dos cinco códigos misturados 2,5295: uma diferença de 0,0016 nats por byte.

A hierarquia verdadeira supera essa média em quatro sementes em cinco, mas a sua posição entre os seis códigos vai do primeiro ao último lugar (3.º, 1.º, 6.º, 1.º e 2.º), e só os cinco códigos misturados variam cerca de 0,005 entre si. A diferença é menor do que essa dispersão, por isso lemo-la como um resultado nulo.

Fonte: OrigoTech, H1 real-text run: five scrambled codes (results, JSON; protocol alongside)

VI

Uma taxonomia de três níveis

Dois grupos de quatro categorias são uma hierarquia pouco profunda. Usámos 16 grupos de discussão organizados em três níveis (4 temas, 8 subtemas, 16 folhas) e acrescentámos códigos parciais: só o tema, depois tema mais subtema. Aos 800 passos, todas as variantes codificadas ficam entre 2,5187 e 2,5217 nats por byte, contra 2,5153 sem qualquer etiqueta, o valor mais baixo.

A hierarquia verdadeira (2,5198) supera a média de cinco códigos misturados (2,5206) por apenas 0,0007, em quatro sementes em cinco, de novo menos do que a dispersão de 0,005 entre códigos misturados. Acrescentar um nível não ajuda claramente: os passos sucessivos (tema, depois subtema, depois folha) alteram a perda em +0,0046, −0,0013 e +0,0012.

Fonte: OrigoTech, H1 real-text run: three-level taxonomy (results, JSON; protocol alongside)

VII

Varredura da quantidade de dados: 30, 100 e 300 por categoria

A ideia de H1 é que a estrutura deveria ajudar sobretudo quando os dados escasseiam, por isso treinámos o mesmo modelo minúsculo durante 800 passos com 30, 100 e 300 mensagens por categoria (os conjuntos pequenos estão contidos nos grandes; cinco sementes, cinco códigos misturados, as mesmas oito categorias) e escrevemos três previsões de antemão. Com 300 por categoria voltamos ao quadro anterior: a hierarquia verdadeira fica 0,0016 nats por byte abaixo dos códigos misturados, menos do que a dispersão de 0,0052 entre eles (previsão 1, confirmada).

Com 30 por categoria o modelo sobreajusta: sem etiqueta, a sua perda nas mensagens reservadas sobe de 2,78 aos 200 passos para 4,12 aos 800, porque repassa cerca de 80 vezes as mesmas 240 mensagens. A hierarquia verdadeira fica 0,0124 abaixo dos códigos misturados, em quatro sementes em cinco, mas os próprios códigos misturados dispersam-se já 0,0891: a diferença perde-se no ruído (previsão 3, uma diferença clara com 30 por categoria, falhada). O modelo apoia-se de facto mais nas etiquetas quando os dados escasseiam: a perda sobe 0,1243 ao esconder a etiqueta da hierarquia verdadeira com 30 por categoria, contra 0,0474 com 300 (previsão 2, confirmada). O modelo sem etiqueta continua a ser o melhor com 30 e com 100 por categoria. Detalhes: resultados, protocolo.

Fonte: OrigoTech, H1 real-text run: data-scale sweep, 30, 100 and 300 per category (results, JSON; protocol alongside)

VIII

Regularização com poucos dados

Sobreajuste é quando o modelo decora os seus poucos exemplos em vez de aprender o que vale também para exemplos novos. Repetimos o teste com 30 e 100 por categoria com dois travões habituais: dropout de 0,2 (unidades aleatórias são desligadas durante o treino) e decaimento de pesos de 0,1 (uma atração para valores pequenos). Mesmas sementes e mesmos códigos misturados da varredura, e de novo três previsões escritas de antemão.

O sobreajuste diminui: com 30 por categoria e 800 passos a perda sem etiqueta é 2,8208, contra 4,12 sem regularização (previsão 1, confirmada), e o aumento de perda ao esconder a etiqueta da hierarquia verdadeira desce de 0,1243 para 0,0448 (previsão 2, confirmada). A dispersão entre códigos misturados cai de 0,0891 para 0,0073. A hierarquia verdadeira fica 0,0023 abaixo deles em quatro sementes em cinco com 30 por categoria, e a par (0,0000, três sementes em cinco, dispersão 0,0020) com 100. A previsão 3 (pelo menos quatro sementes em cinco e uma diferença maior do que a dispersão, com 30 ou 100) falha. Detalhes: resultados, protocolo.

Fonte: OrigoTech, H1 real-text run: regularized small data, dropout 0.2 and weight decay 0.1 (results, JSON; protocol alongside)

IX

Replicação com sementes e permutações novas

O teste anterior deixou um pequeno sinal negativo: a hierarquia verdadeira ligeiramente abaixo dos códigos misturados aos 200 e 400 passos. Um sinal pode ser sorte, por isso repetimos o teste com cinco sementes novas e cinco códigos misturados novos, com os mesmos dados e definições. Observamos quatro células (30 e 100 por categoria, aos 200 e 400 passos), escolhidas depois de ver o teste anterior, o que enfraquece a prova. Três previsões foram escritas de antemão.

O sinal é negativo em 4 células em 4 (previsão 1, confirmada), a hierarquia verdadeira ganha em pelo menos quatro sementes em cinco em 3 células em 4 (previsão 2, confirmada) e nenhuma célula mostra uma diferença material, ou seja, maior do que a dispersão entre códigos misturados (previsão 3, pelo menos duas células em quatro, falhada: 0 em 4). As diferenças vão de 0,0001 a 0,0013 nats por byte, contra dispersões de 0,0012 a 0,0037. Detalhes: resultados, protocolo.

Fonte: OrigoTech, H1 real-text run: replication with new seeds and permutations (results, JSON; protocol alongside)

X

Outras categorias: ciência contra política e sociedade

Até aqui, à exceção da taxonomia de três níveis, todos os testes usaram as mesmas oito categorias, quatro de informática e quatro de lazer. Repetimos a replicação com outra divisão: quatro grupos de ciência (criptografia, eletrónica, medicina, espaço) contra quatro de política e sociedade (armas, Médio Oriente, política em geral, religião cristã), com sementes novas, códigos misturados novos e as mesmas definições. Uma quarta previsão verifica que o modelo usa mesmo as suas etiquetas.

Resultado: o sinal é negativo em 4 células em 4, a hierarquia verdadeira ganha em pelo menos quatro sementes em cinco em 4 células em 4 e 0 células em 4 são materiais. A maior diferença é de 0,0016 nats por byte (30 por categoria, 400 passos), contra uma dispersão de 0,0044. O controlo cumpre-se (previsão 4, confirmada): com 100 por categoria e 800 passos, esconder a etiqueta faz subir a perda 0,0103 com a hierarquia verdadeira e 0,0110 com códigos misturados, pelo que o modelo usa a sua etiqueta seja ela coerente ou não. Detalhes: resultados, protocolo.

Fonte: OrigoTech, H1 real-text run: other category groups, science against politics and society (results, JSON; protocol alongside)

XI

Um modelo maior: 4 camadas, largura 128

Todos os testes anteriores usavam o mesmo modelo minúsculo (2 camadas, largura 64). Se o benefício da hierarquia crescesse com o tamanho do modelo, um maior mostraria isso, por isso mudámos apenas a arquitetura: 4 camadas, largura 128, com as mesmas oito primeiras categorias, 100 mensagens por categoria, cinco sementes, cinco códigos misturados, dropout 0,2 e decaimento de pesos 0,1 (sem reajuste). As duas células lidas, 200 e 400 passos, foram fixadas de antemão; 800 passos também é mostrado, mas não estava pré-registado.

A hierarquia verdadeira fica 0,0006 abaixo dos códigos misturados aos 200 passos e 0,0003 aos 400 (diferenças de −0,0006 e −0,0003 nats por byte), contra dispersões de 0,0024 e 0,0062 entre códigos misturados. Ganha em três sementes de cinco nas duas células, e 0 células em 2 são materiais. Aos 800 passos (não pré-registado) o sinal inverte-se: +0,0005, uma semente de cinco, dispersão 0,0086. A diferença não cresce, portanto, com o tamanho do modelo. O modelo usa de facto a sua etiqueta (escondê-la faz a perda subir 0,0191 aos 800 passos), mas o modelo sem etiqueta continua o melhor aos 800 passos: 2,3925, contra 2,3980 da hierarquia verdadeira e 2,3975 dos códigos misturados. Detalhes: resultados, protocolo.

Fonte: OrigoTech, H1 real-text run: larger model, 4 layers and width 128 (results, JSON; protocol alongside)

XII

Modelo maior, outras categorias

O resultado depende das categorias de informática e lazer? Mantivemos o modelo maior e trocámos os dados pela outra divisão: quatro grupos de ciência contra quatro de política e sociedade, com sementes novas e códigos misturados novos. Mesmas células, mesmas definições.

A diferença é −0,0004 aos 200 passos (três sementes de cinco, dispersão 0,0018) e +0,0002 aos 400 (duas sementes de cinco, dispersão 0,0050): uma célula em 2 é negativa e 0 são materiais. Aos 800 passos (não pré-registado) é −0,0015 (três sementes de cinco), ainda dentro da dispersão de 0,0078. Esconder a etiqueta faz a perda subir 0,0179 aos 800 passos, e o modelo sem etiqueta volta a ser o melhor (2,3672, contra 2,3753 da hierarquia verdadeira). Detalhes: resultados, protocolo.

Fonte: OrigoTech, H1 real-text run: larger model, other categories, science against politics and society (results, JSON; protocol alongside)

XIII

Regularização mais forte: dropout 0,3, decaimento de pesos 0,3

O modelo maior do primeiro teste pode simplesmente ter estado pouco regularizado: com mais espaço, consegue decorar as suas mensagens de treino. Mantivemos o seu modelo, os dados e as categorias e subimos os dois travões em conjunto, para dropout 0,3 e decaimento de pesos 0,3 (por isso os seus efeitos separados não se distinguem), com cinco sementes novas e cinco códigos misturados novos.

A diferença é −0,0008 aos 200 passos (cinco sementes de cinco, dispersão 0,0017) e −0,0010 aos 400 (quatro sementes de cinco, dispersão 0,0032): as duas células são negativas, ganham em pelo menos quatro sementes de cinco, e 0 são materiais. Aos 800 passos (não pré-registado) o sinal volta a ser positivo, +0,0011 (uma semente de cinco, dispersão 0,0042). O modelo sem etiqueta melhora: 2,3717 aos 800 passos, contra 2,3925 no primeiro teste com modelo maior (comparação não emparelhada, com outras sementes), o que sugere que esse teste estava provavelmente pouco regularizado. Esconder a etiqueta faz a perda subir 0,0116. Detalhes: resultados, protocolo.

Fonte: OrigoTech, H1 real-text run: larger model, stronger regularization, dropout 0.3 and weight decay 0.3 (results, JSON; protocol alongside)

XIV

Leitura de conjunto: uma tendência não material, reproduzida

Em três conjuntos de sementes e dois conjuntos de categorias, a hierarquia verdadeira fica muito ligeiramente abaixo dos códigos misturados entre os 200 e os 400 passos: diferenças de cerca de 0,0002 a 0,0016 nats por byte, à volta de 0,1%, sempre abaixo da dispersão entre códigos misturados. Chamamos-lhe uma tendência não material, reproduzida: o sinal volta, mas uma diferença menor do que o ruído entre permutações não é um efeito que possamos reivindicar.

Um segundo resultado conta tanto quanto este: o modelo sem etiqueta é melhor ou igual em quase todas as células. Etiquetas coerentes atrapalham um pouco menos do que etiquetas erradas; não vencem a ausência de etiqueta. Uma análise conjunta dos dois testes regularizados com as primeiras categorias (dez sementes, dez códigos misturados) aponta no mesmo sentido, por exemplo 10 sementes em 10 com 100 por categoria e 400 passos, com uma diferença de 0,0006 contra uma dispersão de 0,0013. É exploratória: nenhum protocolo a previa e não é um teste de significância.

Com o modelo maior (três testes), as diferenças aos 200 e 400 passos situam-se entre −0,0010 e +0,0002 nats por byte; 0 das 6 células são materiais, e a diferença não cresce com o tamanho do modelo. Uma regularização mais forte dá o sinal mais regular (negativo nas duas células, com cinco e quatro sementes de cinco), ainda abaixo da dispersão entre códigos misturados. Aos 800 passos, o modelo sem etiqueta é melhor ou igual nos três testes. Lemos isto como uma tendência fraca e não material, e o modelo grande do primeiro teste estava provavelmente pouco regularizado. Não afirmamos significância nem uma percentagem de dados poupados; a confiança de 55% em H1 mantém-se.

XV

O que os números não demonstram

Os dados sintéticos favorecem deliberadamente a hierarquia. Os testes com textos reais usam um pequeno modelo de bytes iniciado ao acaso, treinado no máximo 800 passos, em inícios curtos de mensagens antigas em inglês de um único corpus, e apenas três estruturas de categorias (duas divisões em dois grupos de quatro e uma taxonomia de três níveis), todas escolhidas por nós; as etiquetas estão presentes na avaliação. As quatro células replicadas nos dois últimos testes foram escolhidas depois do teste regularizado e não são independentes, porque as mesmas sementes alimentam dois pontos de controlo. A regularização é uma única definição, dropout 0,2 e decaimento de pesos 0,1, não otimizada; os testes com modelo maior acrescentam apenas uma arquitetura maior (4 camadas, largura 128), que não é uma lei de escala, e uma definição mais forte (dropout 0,3 e decaimento de pesos 0,3, alterados em conjunto). As comparações entre testes não são emparelhadas, com outras sementes. Não fazemos qualquer teste de significância, e estes testes não medem uma percentagem de dados poupados nem confirmam ou refutam H1 para grandes modelos. A confiança de 55% mantém-se.

XVI

E H10?

H10 continua em pausa. O Space público contém 14 exportações de experiências e 1.034 valores numéricos; a série completa tem 15 rondas, descritas na página do tradutor. Não são conclusões independentes nem uma nota de qualidade. Os protocolos e medições H1 também estão disponíveis.

Fonte: OrigoTech AI Research Lab — H1, H2 and H10 results

Voltar ao topo