Até aqui, cada hipótese levava um único número, escolhido de uma vez. Um número único esconde onde a dúvida está. Aqui dividimos cada uma em elos que precisam todos aguentar, damos um número a cada elo, multiplicamos e confrontamos o conjunto com os estudos publicados desde então. Quatro hipóteses caem claramente, três sobem, duas são reformuladas. Eis o raciocínio, número a número.
Especulativoatualizado em
I
Por que reabrir as hipóteses
O caderno tem nove hipóteses. Cada uma diz algo em que acreditamos sobre a IA de amanhã, com um grau de confiança: 75 %, 40 %, 55 %… Esses números eram honestos, mas globais: olhávamos a hipótese inteira e perguntávamos "isso é provável?".
O problema é que uma hipótese raramente é uma afirmação só. É uma corrente: A precisa ser verdadeira, e B precisa decorrer, e C precisa se sustentar na prática. Um meteorologista não diz "70 % de chance de chuva amanhã" por instinto: ele combina a chance de uma frente chegar, de ela ser úmida o bastante, de não se desviar. É o que fazemos aqui, para cada uma das nove.
II
O método: dividir em elos
Passo 1. Escrever as afirmações de que a hipótese precisa para ser verdadeira, e só essas. São os elos a, b, c.
Passo 2. Dar um número a cada elo supondo verdadeiros os anteriores. É o que se chama de probabilidade condicional: "se a for verdadeira, qual a chance de b?". O detalhe importa: os elos de uma mesma corrente costumam se apoiar uns nos outros, e quantificá-los separadamente faria o total cair sem razão.
Passo 3. Multiplicar. Se a vale 90 % e b, sabendo a, 50 %, a corrente vale 0,9 × 0,5 = 45 %. Um produto é sempre menor que seu menor fator: uma corrente não pode ser mais forte que seu elo mais fraco.
Duas armadilhas esperam, em sentidos opostos. A primeira: uma história rica e coerente parece mais provável que uma simples, quando é necessariamente menos, porque exige mais coisas. Era o nosso defeito com os números globais. A segunda: dividir em elos demais, cada um quantificado com prudência, derrete o total artificialmente. Por isso ficamos em dois ou três elos por hipótese, cada um realmente necessário.
Uma última regra, de coerência: se uma hipótese implica outra, a primeira não pode ser mais provável que a segunda. Um caso particular não pode ser mais certo que a regra geral da qual decorre. Foi essa regra que nos fez achar nosso primeiro erro.
III
Primeira descoberta: duas hipóteses se contradiziam
A H7 dizia "o juiz pode ensinar": um modelo melhora tentando e sendo avaliado. Dávamos 50 % a ela. A H9, acrescentada há três dias, dizia que um modelo pequeno melhora num computador comum graças a um juiz externo. Dávamos 55 % a ela.
Só que a H9 é um caso particular da H7: se um juiz faz um modelo pequeno melhorar num PC, então um juiz pode ensinar. O caso particular não podia ser mais provável que o geral. Um dos dois números estava errado.
Cavando mais, a contradição vinha de uma palavra. "Ensinar" misturava duas coisas bem diferentes. Afiar: tornar confiável o que o modelo achava às vezes. Isso está comprovado; Yue e coautores medem, todos os estudos confirmam. Ampliar: fazer o modelo achar o que nunca achava. É isso que está em debate.
Então corrigimos a H7. Afiar vira um fato, não mais uma hipótese. A H7 agora trata da ampliação, a verdadeira questão em aberto. A H9 continua focada no afiamento, e os dois números não brigam mais.
O que a H1 diz: dar ao modelo a estrutura dos dados (procedência, nível, dependências) reduziria a quantidade de exemplos necessária.
Elo a, 85 %: pistas de estrutura economizam dados de verdade, pelo menos até alguns bilhões de parâmetros. Elo b, 65 %: o ganho não some em tamanhos grandes. Os ganhos da ordem de aprendizado encolhiam com o tamanho, daí a nossa cautela; mas o resultado abaixo se repete de 600 milhões a 8 bilhões de parâmetros.
Conta: 0,85 × 0,65 = 55 %. A H1 sobe um pouco. O que fica em aberto: é a hierarquia que ajuda, ou um simples rótulo de origem? O estudo usa um rótulo plano, o endereço do site. Nossa H1 inclui a procedência, então ele conta; mas a forma mais ambiciosa, com níveis e dependências, ainda precisa ser testada.
Gao e coautores, em Princeton, simplesmente acrescentam o endereço de origem (por exemplo en.wikipedia.org) antes de cada texto durante o treinamento, e o retiram no fim. Um modelo de 1,6 bilhão de parâmetros iguala o treinamento clássico com 33 % menos dados, sem computação extra, de 600 milhões a 8 bilhões de parâmetros. Temas gerados por um modelo também funcionam como rótulos.
H2 · Aprender o alto, consultar o baixo: de 75 % para 64 %
O que a H2 diz: reservar os parâmetros para os princípios e guardar os fatos numa memória externa.
Elo a, 92 %: dá para tirar os fatos do modelo sem perda nas perguntas de conhecimento. RETRO, as camadas de memória, o Engram e agora o HippoRAG 2 mostram isso. Elo b, 82 %: o espaço liberado serve de fato para raciocinar melhor, com o mesmo orçamento. O Engram ganha 3 pontos, mas em parte em perguntas de conhecimento: é um indício, não uma prova. Elo c, 85 %: o custo da consulta (tempo, tráfego de memória) continua aceitável no uso real.
Conta: 0,92 × 0,82 × 0,85 = 64 %. É a maior lição de método: cada elo é sólido, mas três elos sólidos fazem uma corrente mediana. Nossos 75 % globais olhavam para o elo a, o mais convincente, e esqueciam os outros dois.
Novo: uma memória que não perde nada pelo caminho (2025)
O HippoRAG 2 guarda os trechos num grafo e circula por ele como um boato se espalha entre amigos. Ele supera a busca clássica ao mesmo tempo nos fatos simples, na compreensão do conjunto e nas ligações entre fatos distantes (cerca de 7 pontos a mais), onde os métodos com grafo anteriores perdiam nos fatos simples.
H3 · Regras e exceções: de 40 % para 48 %, restringindo
O que a H3 dizia: em todo lugar, guardar as regras e só os dados que escapam delas comprimiria o conhecimento.
Decomposta, a forma geral desaba. Elo a, 80 %: onde um programa pode conferir, sabemos tirar regras de exemplos (AlphaEvolve, FunSearch). Elo b, 60 %: guardar regras + exceções economiza de fato dados de treinamento; escolher bem os dados muda o formato da curva de aprendizado, o que é animador. Elo c, 45 %: isso se estende à linguagem do dia a dia, cheia de exceções e nuances. Produto: 0,8 × 0,6 × 0,45 = 22 %.
Em vez de manter uma hipótese ampla demais, nós a restringimos aos domínios verificáveis, onde nossas razões para acreditar são reais: 0,8 × 0,6 = 48 %. O elo c não some: vira uma pergunta para depois. Restringir não é trapacear, desde que se diga: uma hipótese mais estreita afirma menos, então tem mais chance de ser verdadeira.
O que a H4 diz: quando cada geração de modelo aprende com a anterior, guardar os dados brutos raros impediria a deriva.
Elo a, 90 %: a deriva atinge primeiro os casos raros. Comprovado desde Shumailov. Elo b, 75 %: guardar dados reais impede a deriva. Gerstgrasser mostra que acumular em vez de substituir a evita; mas um estudo de 2025 mostra que uma pequena parcela de dados artificiais pode bastar para travar o progresso. Elo c, 65 %: guardar só os casos raros, e não tudo, basta. É a nossa versão econômica, e ninguém a testou.
Conta: 0,9 × 0,75 × 0,65 = 44 %. A maior queda do caderno. Nossos 70 % se apoiavam no elo a, muito sólido, e davam os outros dois como certos. Façamos o teste inverso: é mais provável que guardar só as exceções não baste? Sim, um pouco, enquanto ninguém tiver tentado. É exatamente o que dizem os 44 %.
Dohmatob e coautores mostram, num quadro matemático simplificado e depois em modelos de linguagem, que até 1 % de dados artificiais no treinamento pode impedir o modelo de aproveitar mais dados: a curva de aprendizado para de descer. E modelos maiores podem amplificar o efeito. Misturar, portanto, nem sempre basta: é preciso saber o que guardar.
O que a H5 diz: o conhecimento é uma rede, uma ideia pertence a várias famílias; a memória útil seria feita de árvores que se cruzam.
Elo a, 85 %: estruturas em que um trecho pertence a vários grupos vencem as árvores simples nas perguntas que ligam vários fatos. GraphRAG, RAPTOR e HippoRAG 2 vão nessa direção. Elo b, 75 %: o custo de construir e manter continua razoável em grande escala.
Conta: 0,85 × 0,75 = 64 %. Quase sem mudança: nosso número global já estava bem calibrado. Um bom sinal para o método, que não derruba tudo o que toca.
O que a H6 diz: empilhando especialistas, cascata, baixa precisão e hardware melhor, o custo de uma resposta cairia 100 vezes sem um novo modelo gigante.
Elo a, 95 %: cada alavanca sozinha divide o custo por 2 a 4. Elo b, 55 %: as alavancas são independentes o bastante para que o produto delas se sustente, com margem de um fator 3. É o elo fraco: a lei de Amdahl diz que acelerar uma parte só ajuda naquela parte. Elo c, 80 %: chega-se a 100 na prática.
Conta: 0,95 × 0,55 × 0,8 = 42 %. Por que subir b em relação à nossa síntese? Porque o mundo real fez o experimento por nós: com desempenho igual, os preços caíram muito mais rápido do que qualquer alavanca sozinha explica. É uma prova indireta de que as alavancas se empilham. Mas essas quedas também vêm de modelos novos, mais bem treinados, que a H6 exclui: daí um elo b de 55 %, não mais.
A Epoch AI mede que, com desempenho fixo, o preço de uma resposta cai de 9 a 900 vezes por ano conforme a tarefa; atingir o nível do GPT-4 em perguntas de ciências de nível de doutorado ficou 40 vezes mais barato a cada ano. Outro estudo, mais cauteloso, encontra de 5 a 10 vezes por ano para os modelos de ponta, e observa que usar os modelos de ponta, ao contrário, custa cada vez mais, porque eles são maiores e raciocinam por mais tempo.
H7 · O juiz pode fazer descobrir? 43 %, reformulada
O que a H7 diz agora: com um treinamento longo e variado, um juiz confiável faria o modelo achar soluções que ele nunca achava, nem em milhares de tentativas.
Elo a, 95 %: um juiz torna o modelo mais confiável. Comprovado. Elo b, 45 %: prolongando o treinamento, ele amplia o que o modelo consegue achar. Duas equipes, muitas vezes com os mesmos pesquisadores, se respondem. Uma mostra uma ampliação real, sobretudo em código; a outra mostra que, em geral, o modelo perde o acesso a mais soluções do que ganha. Detalhe revelador: o título do segundo estudo ganhou um ponto de interrogação na última versão.
Conta: 0,95 × 0,45 = 43 %. Mais baixo que os antigos 50 %, mas para uma afirmação mais forte e mais clara. É a hipótese que mais importa para o resto do caderno: se ela cair, um modelo pequeno nunca vai superar sozinho o que já achava por acaso.
Na NVIDIA, Liu e coautores treinam por muito tempo um modelo de 1,5 bilhão de parâmetros, estabilizando o aprendizado e variando as tarefas. O modelo resolve problemas em que o modelo inicial falhava qualquer que fosse o número de tentativas. Mas os próprios autores observam: em matemática, onde o modelo inicial já era forte, o acerto em 128 tentativas muitas vezes cai.
Wu e coautores, entre eles vários autores do ProRL, acompanham o treinamento passo a passo. A constatação deles em muitos testes: o reforço melhora a primeira tentativa, mas perde o acesso a mais respostas certas do que ganha. O modelo continua preso por uma coleira ao seu ponto de partida; para rompê-la, seria preciso semear ideias nas regiões que ele nunca explora.
O que a H8 diz: nas tarefas verificáveis, um modelo de 8 bilhões de parâmetros bem cercado igualaria um modelo cem vezes maior, a um custo comparável ou menor.
Elo a, 90 %: ele atinge a mesma nota. Comprovado em matemática: um modelo de 1 bilhão com 512 tentativas filtradas supera um modelo de 405 bilhões. Elo b, 60 %: a um custo total comparável, contando todas as tentativas e o juiz, diante de gigantes de especialistas que só ligam uma pequena parte de si mesmos. Elo c, 85 %: isso vale além da matemática e do código, em outras tarefas verificáveis.
Conta: 0,9 × 0,6 × 0,85 = 46 %. O elo b é o coração da dúvida, e nossos antigos 55 % o escondiam. Um dado novo, porém, ajuda o pequeno: o que dá para rodar em casa alcança rápido os gigantes.
Novo: a ponta chega em casa em menos de um ano (2025)
A Epoch AI mede que os melhores modelos abertos que cabem em uma única placa de vídeo de consumo ficam cerca de 6 a 12 meses atrás da ponta, conforme o teste. Cuidado, observam: modelos pequenos são mais vezes otimizados para os testes, então o atraso real provavelmente é um pouco maior.
O que a H9 diz: num computador comum, um juiz externo faz um modelo pequeno melhorar claramente, até o teto do que ele achava em muitas tentativas.
Elo a, 75 %: o ganho é claro (pelo menos 5 pontos) em qualquer modelo pequeno moderno, não só numa família escolhida. Elo b, 90 %: cabe numa placa gamer em uma semana; são as nossas contas da página anterior. Elo c, 80 %: a descrição do teto está certa; a coleira invisível a confirma, o ProRL a contesta, mas depois de um treinamento bem mais longo que uma semana.
Conta: 0,75 × 0,9 × 0,8 = 54 %. Quase sem mudança, mas a dúvida mudou de lugar: agora está no elo a, por causa do estudo abaixo. Nosso experimento previsto usa o Llama, justamente a família em que os efeitos fáceis somem. Melhor assim: ele será ainda mais convincente.
Novo: recompensas aleatórias que funcionam… numa só família (2026)
Shao e coautores treinam o Qwen2.5-Math-7B por reforço com recompensas sorteadas ao acaso: ele ganha 21,4 pontos no teste MATH-500, quase tanto quanto os 29,1 pontos obtidos com as respostas verdadeiras. O reforço desperta sobretudo um hábito que já existia (raciocinar em código). No Llama 3 ou no OLMo 2, essas recompensas falsas não rendem quase nada. Lição: testar em várias famílias antes de cantar vitória.
O que cai: H2 (75 → 64), H4 (70 → 44), H8 (55 → 46), H7 (50 → 43, reformulada) e a H9 em um ponto. Quase sempre pelo mesmo motivo: tínhamos quantificado o elo mais visível e dado os outros como certos.
O que sobe: H1 (50 → 55) graças a um estudo novo, H6 (35 → 42) graças à queda medida dos preços, H3 (40 → 48) ao ser restringida. A H5 quase não se mexe.
A grande tese do caderno se apoia em três hipóteses: uma memória externa (H2), organizada em grafo (H5), e um modelo pequeno que melhora com um juiz (H9). Se fossem independentes: 0,64 × 0,64 × 0,54 = 22 %. Elas não são totalmente (uma mesma realidade técnica as sustenta), então o valor verdadeiro é mais alto, sem passar do da mais fraca, 54 %. Dizemos cerca de 30 %: menos de uma chance em duas de que o programa inteiro se sustente. É por isso que precisamos decidir, elo por elo.
Fig. O — Onde a dúvida está
confiança hoje (produto dos elos)confiança anteriorelos a, b, c
Esquema ilustrativo: mostra a ideia, não medições.
Cada linha é uma hipótese. Os círculos são seus elos, cada um quantificado supondo verdadeiros os anteriores; a barra é o produto deles, ou seja, a nova confiança; o traço vermelho, a antiga. Uma hipótese é tão frágil quanto seu elo mais fraco, e um pouco mais: a barra sempre termina à esquerda do círculo mais à esquerda.XIV
Três experimentos para decidir
Qual experimento mexeria mais nos nossos números? Para cada um, escrevemos os resultados possíveis, sua probabilidade e a confiança que decorreria deles. Vale uma regra de coerência: a média das confianças depois do experimento precisa igualar a confiança de antes. Senão, já saberíamos para que lado ele vai cair, e teríamos de mudar nosso número na hora. Conferimos essa regra para os três.
Medimos então o deslocamento esperado: a soma, ponderada pelas probabilidades, das mudanças de confiança. Quanto maior, mais o experimento nos ensina.
Especulativo
E1 · Duas famílias, juiz verdadeiro contra juiz aleatório · cerca de 20 €
O experimento da página anterior, feito com Llama e Qwen, com recompensas verdadeiras e recompensas aleatórias: quatro semanas de uma placa gamer. Três desfechos: o Llama melhora claramente só com o juiz verdadeiro, teto intacto (55 %) → H9 66 %, H7 37 %; só o Qwen melhora (25 %) → H9 25 %, H7 38 %; o Llama melhora e seu acerto em 64 tentativas dá um salto (20 %) → H9 60 %, H7 65 %. Médias: H9 54,6 %, H7 42,9 %, coerentes. Deslocamento esperado: 24 pontos.
Especulativo
E2 · Rótulos hierárquicos contra rótulo plano · cerca de 16 000 h de GPU
Treinar modelos de 1 e 8 bilhões de parâmetros sem rótulo, com o endereço de origem, e com níveis e dependências. Três desfechos: a hierarquia vence o rótulo plano e se mantém em 8 bilhões (50 %) → H1 75 %; só o rótulo plano ajuda e seu ganho derrete (30 %) → H1 40 %; não sobra nada em 8 bilhões (20 %) → H1 25 %. Média 54,5 %, coerente. Deslocamento esperado: cerca de 20 pontos. Custo: 6 operações por parâmetro e por palavra, com 20 palavras por parâmetro, três vezes, a 400 trilhões de operações úteis por segundo por chip (uma hipótese): cerca de 16 000 horas de GPU de data center. Coisa de laboratório.
Especulativo
E3 · Cinco gerações: guardar tudo, os raros ou nada · cerca de 50 h de GPU
Modelos pequenos (125 milhões de parâmetros) aprendem cada um com o anterior, cinco vezes seguidas, guardando todos os dados reais, só os 5 % mais raros, ou nada. Três desfechos: os 5 % raros funcionam tão bem quanto tudo (40 %) → H4 75 %; ajudam pela metade (45 %) → H4 25 %; nem guardar tudo basta (15 %) → H4 20 %. Média 44,3 %, coerente. Deslocamento esperado: cerca de 25 pontos, por umas cinquenta horas de GPU alugadas (nossa estimativa, incluindo a geração dos textos).
XV
O que faremos com esses números
A ordem dos experimentos decorre da conta: E1 e E3 ensinam pelo menos tanto quanto E2, por centenas a milhares de vezes menos. E1 cabe num computador comum; E3, em algumas horas de computação alugada. São esses que recomendamos fazer primeiro.
Nossas regras de revisão, para não trapacear depois. Uma hipótese só muda de número se um elo mudar, e diremos qual. Uma hipótese com um elo que cair abaixo de 20 % será reformulada ou retirada, não mantida por hábito. E cada hipótese nova vai chegar já dividida em elos.
O que esta página ganha não é mais um número. É saber, para cada hipótese, que frase precisa teria de ser provada ou refutada. Uma hipótese que se sabe como derrubar é uma hipótese útil.