A IA do amanhã Glossário
PT

← Voltar ao caderno

Aprofundamento · Hipóteses

H2 em teste: os nossos pilotos de brinquedo

Dez pilotos de brinquedo sobre H2, aprender o topo e consultar a base: verificam-se 34 de 51 previsões pré-registadas e, nos pilotos 4 a 7, a maioria das falsas são falhas de aprendizagem, não refutações. Um modelo minúsculo, uma regra inventada, uma memória ideal na maioria dos casos: não é prova sobre modelos de linguagem reais.

Especulativo atualizado em

I

A pergunta

H2 diz que os parâmetros são escassos e devem ser reservados ao raciocínio, enquanto os factos vão para uma memória externa. Antes de mexer num modelo real, construímos um mundo de brinquedo: 1024 entidades, cada uma com um dígito aleatório (o seu facto), e uma regra que soma os dígitos de duas entidades módulo 10 (três entidades no quinto piloto). Os pares de teste nunca aparecem no treino, por isso o modelo tem de aplicar a regra, não recitá-la.

O modelo é um transformador de 2 camadas e largura 64, treinado durante 2000 atualizações. Cada valor é uma média de 5 sementes, o acaso vale 0,1 e o tamanho julgado é 1024 entidades (256 é reportado, não julgado). As previsões foram escritas antes de cada execução; a partir do segundo piloto foram escritas depois de ver as anteriores, por isso não são cegas. Os dados públicos estão também na [página do laboratório](https://huggingface.co/spaces/Kyyzen01/OrigoTech-AI-Research-Lab). Os pilotos 6 a 10 reutilizam o mesmo modelo e o mesmo mundo; a duração do treino varia (de 2000 a 4000 atualizações, mais um ajuste fino no piloto 10), como indica cada protocolo.

II

Piloto 1: factos nos pesos ou numa memória

Com 64 entidades, as três condições atingem pelo menos 0,9985 em pares reservados. Com 1024, um modelo que guarda os factos nos seus pesos recorda-os na perfeição (exatidão dos factos 1,0000), mas obtém 0,0973 em pares reservados, e 0,1235 com cerca de 2,6 vezes mais parâmetros (largura 128): perto do acaso. O mesmo modelo obtém 1,0000 quando uma memória ideal põe os dois factos no seu contexto. Verificaram-se as 5 previsões. Detalhes: resultados, protocolo.

Fonte: OrigoTech, H2 toy pilot 1: facts in the weights or in a memory (results, JSON; protocol alongside)

III

Piloto 2: passos explícitos ou treino mais longo

Se o modelo escreve primeiro os dois factos e depois os soma (passos explícitos, supervisionados no treino), atinge 1,0000 com 1024 entidades sem qualquer memória. Duplicar o treino para 4000 atualizações deixa, em contrapartida, o modelo simples em 0,1285 (0,1018 às 2000). Com 256 entidades, a execução mais longa atinge 0,9393, a partir de 0,4710 às 2000 atualizações, com sementes de 0,6965 a 1,0000. Neste brinquedo, não é preciso uma memória para compor, mas os passos são supervisionados, o que nada diz sobre modelos reais. Verificaram-se as 5 previsões. Detalhes: resultados, protocolo.

Fonte: OrigoTech, H2 toy pilot 2: explicit steps or longer training (results, JSON; protocol alongside)

IV

Piloto 3: atualizar factos

Com os factos no contexto, os factos editados obtêm 1,0000 e as entidades nunca vistas no treino 1,0000, contra 0,1066 e 0,1008 do modelo sem memória. Ajustar os pesos apenas com as edições, durante 200 atualizações, chega a 0,2376 nos factos editados, enquanto a exatidão nos factos intactos cai de 1,0000 para 0,1337. Com repetição dos factos antigos, os factos intactos ficam em 0,9975, mas os editados só chegam a 0,3399. Verificaram-se 5 de 6 previsões; a falsa esperava que a edição fosse absorvida em 200 atualizações. Uma só receita de ajuste fino, sem editor de conhecimento dedicado. Detalhes: resultados, protocolo.

Fonte: OrigoTech, H2 toy pilot 3: updating facts (results, JSON; protocol alongside)

V

Piloto 4: recuperação imperfeita

Cada elemento recuperado é substituído, com probabilidade 1 − r, pelo de outra entidade. Com r = 0,9, 0,7 e 0,5 a exatidão é 0,8366, 0,5604 e 0,3306, próxima de r² + (1 − r²) × 0,1 (0,829, 0,541, 0,325): os dois elementos têm de estar certos, senão a resposta é acaso. O modelo de passos sem memória obtém 0,9997, pelo que o modelo com memória fica mais de 0,10 abaixo dele já com r = 0,9. O teste dos distratores não está concluído: um modelo treinado com 4 distratores aleatórios não aprendeu a regra (0,1163), por isso o que acontece com 8 não se pode ler. Verificaram-se 3 de 5 previsões; as duas falsas são falhas de aprendizagem. Substituição aleatória, não um motor de busca real; custo da pesquisa não medido. Detalhes: resultados, protocolo.

Fonte: OrigoTech, H2 toy pilot 4: imperfect retrieval (results, JSON; protocol alongside)

VI

Piloto 5: três factos

Com três factos para somar, uma passagem obtém 0,0989 e os passos explícitos simples 0,1215, embora os três factos sejam recordados com 0,9999. Acrescentar uma soma parcial intermédia leva o resultado a 0,9998. O modelo de memória externa tem média de 0,2659 (sementes de 0,0985 a 0,9285): aprende muito tarde, e nesta execução só uma semente em cinco aprendeu a regra. Verificaram-se 3 de 5 previsões; as duas falsas são falhas de aprendizagem em 2000 atualizações, o que não é prova contra a composição. Uma regra de brinquedo, um tamanho de modelo. Detalhes: resultados, protocolo.

Fonte: OrigoTech, H2 toy pilot 5: three-fact composition (results, JSON; protocol alongside)

VII

Piloto 6: distratores e currículo

Aqui a memória contém também elementos distratores aleatórios. Com 4 distratores, um modelo treinado durante 4000 atualizações atinge 0,2456 nos pares reservados (sementes de 0,0955 a 0,7690), e um treinado com um currículo (0, depois 2, depois 4 distratores) 0,3856 (0,1275 a 0,7440). Com 8 distratores o modelo com currículo fica em 0,1052, nível do acaso, contra 0,9999 do mesmo formato sem distratores. O controlo sobre os factos recuperados falha em várias células (por exemplo 0,1440 e 0,1666 com 8 distratores), pelo que os outros resultados não são legíveis e a pergunta continua em aberto. Verificou-se 1 de 5 previsões; as quatro falsas são falhas de aprendizagem. A referência limpa é treinada 2000 atualizações contra 4000 (não emparelhada). Apenas distratores aleatórios. Detalhes: resultados, protocolo.

Fonte: OrigoTech, H2 toy pilot 6: distractors and a curriculum (results, JSON; protocol alongside)

VIII

Piloto 7: três factos, treino mais longo

Com três factos e 4000 atualizações, o modelo de memória externa tem média de 0,3286 (sementes de 0,0955 a 0,8415; nenhuma chega a 0,90), contra 0,1046 com 2000 atualizações. Começar com dois factos durante um aquecimento de 1500 atualizações eleva a média para 0,6981 (0,1230 a 0,9995; +0,3695 sobre a memória sozinha), mas a dispersão entre sementes é grande. Os passos explícitos simples, sem soma parcial, ficam em 0,1645 (0,1030 a 0,2425). Os três factos são recordados com 1,0000 nas três condições. Verificaram-se 2 de 5 previsões (o currículo é pelo menos tão bom quanto a memória sozinha; os factos são recordados). As falsas são falhas de aprendizagem, com uma célula devida a uma semente com sorte. Uma duração de aquecimento, uma regra de brinquedo. Detalhes: resultados, protocolo.

Fonte: OrigoTech, H2 toy pilot 7: three facts, longer training (results, JSON; protocol alongside)

IX

Piloto 8: frequentes nos pesos, raros na memória

Com entidades tiradas de uma lei de Zipf (poucas frequentes, muitas raras), o modelo sem memória obtém 0,9520 em pares de entidades frequentes e 0,9260 em pares de entidades raras, pelo que os factos raros também são aprendidos nos pesos. O híbrido (factos frequentes nos pesos, raros na memória) obtém 0,9904 e 0,9926, e o modelo com tudo em memória 1,0000 e 0,9999. Ponderado pela frequência, o híbrido fica 0,0024 abaixo da memória completa (0,9976 contra 1,0000). Verificaram-se 3 de 5 previsões; as duas falsas são que os factos raros não seriam aprendidos nos pesos e que o híbrido seria pelo menos tão bom quanto a memória completa. Uma só divisão de Zipf; os factos frequentes podem ter sido memorizados em vez de compostos. Recuperação ideal. Detalhes: resultados, protocolo.

Fonte: OrigoTech, H2 toy pilot 8: frequent facts in the weights, rare ones in memory (results, JSON; protocol alongside)

X

Piloto 9: quantos exemplos da regra

Treinado com apenas 2 % ou 5 % dos pares, o modelo de memória externa atinge 1,0000 nos pares reservados (0,9977 com 20 %, 1,0000 com todos). Sem memória (passos explícitos) atinge 0,9998 com 2 % mas 0,9132 com 5 % (sementes de 0,5960 a 1,0000), contra 0,9980 com todos os pares. Verificaram-se 4 de 5 previsões; a falsa (mais pares nunca prejudicam) falha porque, sem memória, 2 % fica 0,0018 acima de 100 %. A regra só usa 100 pares de dígitos, por isso bastam aqui poucos exemplos: é específico do brinquedo e não diz nada sobre modelos reais. Recuperação ideal. Detalhes: resultados, protocolo.

Fonte: OrigoTech, H2 toy pilot 9: how many rule examples (results, JSON; protocol alongside)

XI

Piloto 10: atualizações mais longas ou mais fortes

Após 1000 atualizações, o ajuste fino sobre os factos editados com repetição dos antigos atinge 0,5310 nos pares editados, e 0,8212 com uma taxa de aprendizagem três vezes maior (sementes de 0,6720 a 0,9665), enquanto os factos intactos se mantêm em 0,9876. Sem repetição e com uma taxa pequena, os factos intactos caem para 0,2092 e os pares editados só chegam a 0,2138. Uma parte maior de linhas editadas com repetição atinge 0,4054, abaixo da receita de repetição simples (diferença −0,1256). Após o ajuste fino, as entidades nunca vistas no treino ficam no acaso (0,099 a 0,103), enquanto a memória externa obtém 0,9998 nos pares editados e 1,0000 nas entidades novas, sem qualquer atualização. Verificaram-se 3 de 5 previsões; as falsas são que o esquecimento seria limitado sem repetição (0,2092, abaixo dos 0,50 esperados) e que uma parte maior de edições ajudaria. Quatro receitas de ajuste fino, um valor cada, sem pesquisa; sem editor de conhecimento dedicado. Detalhes: resultados, protocolo.

Fonte: OrigoTech, H2 toy pilot 10: longer or stronger updates (results, JSON; protocol alongside)

XII

Leitura: o que sugere o mundo de brinquedo

Neste mundo de brinquedo, compor muitos factos guardados numa só passagem é a parte difícil, e duas coisas a resolvem: uma memória externa ideal, ou escrever os factos passo a passo. O que uma memória traz com clareza é a atualização: imediata com uma memória, lenta nos pesos e, sem repetição dos factos antigos, muito esquecida (com repetição e uma taxa de aprendizagem maior, as edições chegam a 0,8212 após 1000 atualizações). A sua vantagem diminui quando a recuperação piora. Com três factos, escrever os factos não chega e é preciso uma soma intermédia; um aquecimento com dois factos ajuda em média (0,6981 contra 0,3286), mas as sementes diferem muito. Um híbrido com os factos frequentes nos pesos não se distinguiu de guardar tudo na memória, e neste brinquedo bastaram poucos exemplos da regra. A questão dos distratores continua em aberto. Verificaram-se 34 das 51 previsões pré-registadas (5 de 5, 5 de 5, 5 de 6, 3 de 5, 3 de 5, 1 de 5, 2 de 5, 3 de 5, 4 de 5 e 3 de 5); nos pilotos 4 a 7 a maioria das falsas são falhas de aprendizagem, não refutações, ao passo que as dos pilotos 8 a 10 são resultados medidos.

XIII

O que os números não demonstram

Um mundo de brinquedo: uma regra (soma módulo 10), factos aleatórios independentes, um modelo pequeno, 5 sementes. A recuperação é ideal, exceto nos pilotos 4 e 6, onde é corrompida por substituição aleatória ou por distratores, e o custo da pesquisa não é medido. Os passos explícitos são raciocínio supervisionado, não demonstrado em modelos de linguagem reais. O tamanho 256 é reportado mas não julgado; não se faz nenhum teste de significância nem se estima qualquer percentagem de dados poupados. As previsões posteriores ao primeiro piloto foram escritas conhecendo os resultados anteriores. O piloto 1 foi executado com 2000 atualizações depois de uma primeira tentativa com 3000 ter sido interrompida por tempo, e uma verificação de duração em CPU, cujas exatidões os autores viram, precedeu o julgamento. No piloto 6 a referência limpa é treinada 2000 atualizações contra 4000 nas outras (não emparelhada); os pilotos 7 e 8 usam uma só duração e uma só divisão cabeça/cauda; o piloto 10 tem quatro receitas de ajuste fino com um valor cada. As 13 previsões verificadas nos pilotos 6 a 10 (de 25) também foram escritas conhecendo os pilotos anteriores. Estes pilotos não validam nem refutam H2 para modelos reais: a sua confiança de 64 % não muda.

Voltar ao topo