A IA do amanhã Glossário
PT

← Voltar ao caderno

Aprofundamento · Hipóteses

As hipóteses à prova

Até aqui, cada hipótese levava um único número, escolhido de uma vez. Um número único esconde onde a dúvida está. Aqui dividimos cada uma em elos que precisam todos aguentar, damos um número a cada elo, multiplicamos e confrontamos o conjunto com os estudos publicados desde então. Quatro hipóteses caem claramente, três sobem, duas são reformuladas. Eis o raciocínio, número a número.

Especulativo atualizado em

I

Por que reabrir as hipóteses

O caderno tem nove hipóteses. Cada uma diz algo em que acreditamos sobre a IA de amanhã, com um grau de confiança: 75 %, 40 %, 55 %… Esses números eram honestos, mas globais: olhávamos a hipótese inteira e perguntávamos "isso é provável?".

O problema é que uma hipótese raramente é uma afirmação só. É uma corrente: A precisa ser verdadeira, e B precisa decorrer, e C precisa se sustentar na prática. Um meteorologista não diz "70 % de chance de chuva amanhã" por instinto: ele combina a chance de uma frente chegar, de ela ser úmida o bastante, de não se desviar. É o que fazemos aqui, para cada uma das nove.

II

O método: dividir em elos

Passo 1. Escrever as afirmações de que a hipótese precisa para ser verdadeira, e só essas. São os elos a, b, c.

Passo 2. Dar um número a cada elo supondo verdadeiros os anteriores. É o que se chama de probabilidade condicional: "se a for verdadeira, qual a chance de b?". O detalhe importa: os elos de uma mesma corrente costumam se apoiar uns nos outros, e quantificá-los separadamente faria o total cair sem razão.

Passo 3. Multiplicar. Se a vale 90 % e b, sabendo a, 50 %, a corrente vale 0,9 × 0,5 = 45 %. Um produto é sempre menor que seu menor fator: uma corrente não pode ser mais forte que seu elo mais fraco.

Duas armadilhas esperam, em sentidos opostos. A primeira: uma história rica e coerente parece mais provável que uma simples, quando é necessariamente menos, porque exige mais coisas. Era o nosso defeito com os números globais. A segunda: dividir em elos demais, cada um quantificado com prudência, derrete o total artificialmente. Por isso ficamos em dois ou três elos por hipótese, cada um realmente necessário.

Uma última regra, de coerência: se uma hipótese implica outra, a primeira não pode ser mais provável que a segunda. Um caso particular não pode ser mais certo que a regra geral da qual decorre. Foi essa regra que nos fez achar nosso primeiro erro.

III

Primeira descoberta: duas hipóteses se contradiziam

A H7 dizia "o juiz pode ensinar": um modelo melhora tentando e sendo avaliado. Dávamos 50 % a ela. A H9, acrescentada há três dias, dizia que um modelo pequeno melhora num computador comum graças a um juiz externo. Dávamos 55 % a ela.

Só que a H9 é um caso particular da H7: se um juiz faz um modelo pequeno melhorar num PC, então um juiz pode ensinar. O caso particular não podia ser mais provável que o geral. Um dos dois números estava errado.

Cavando mais, a contradição vinha de uma palavra. "Ensinar" misturava duas coisas bem diferentes. Afiar: tornar confiável o que o modelo achava às vezes. Isso está comprovado; Yue e coautores medem, todos os estudos confirmam. Ampliar: fazer o modelo achar o que nunca achava. É isso que está em debate.

Então corrigimos a H7. Afiar vira um fato, não mais uma hipótese. A H7 agora trata da ampliação, a verdadeira questão em aberto. A H9 continua focada no afiamento, e os dois números não brigam mais.

Fonte: Yue et al., Does RL Really Incentivize Reasoning Capacity Beyond the Base Model? (NeurIPS 2025)

IV

H1 · A hierarquia ausente: de 50 % para 55 %

O que a H1 diz: dar ao modelo a estrutura dos dados (procedência, nível, dependências) reduziria a quantidade de exemplos necessária.

Elo a, 85 %: pistas de estrutura economizam dados de verdade, pelo menos até alguns bilhões de parâmetros. Elo b, 65 %: o ganho não some em tamanhos grandes. Os ganhos da ordem de aprendizado encolhiam com o tamanho, daí a nossa cautela; mas o resultado abaixo se repete de 600 milhões a 8 bilhões de parâmetros.

Conta: 0,85 × 0,65 = 55 %. A H1 sobe um pouco. O que fica em aberto: é a hierarquia que ajuda, ou um simples rótulo de origem? O estudo usa um rótulo plano, o endereço do site. Nossa H1 inclui a procedência, então ele conta; mas a forma mais ambiciosa, com níveis e dependências, ainda precisa ser testada.

Comprovado

Novo: o endereço do site como pista (2025)

Gao e coautores, em Princeton, simplesmente acrescentam o endereço de origem (por exemplo en.wikipedia.org) antes de cada texto durante o treinamento, e o retiram no fim. Um modelo de 1,6 bilhão de parâmetros iguala o treinamento clássico com 33 % menos dados, sem computação extra, de 600 milhões a 8 bilhões de parâmetros. Temas gerados por um modelo também funcionam como rótulos.

Fonte: Gao et al., Metadata Conditioning Accelerates Language Model Pre-training (2025)

V

H2 · Aprender o alto, consultar o baixo: de 75 % para 64 %

O que a H2 diz: reservar os parâmetros para os princípios e guardar os fatos numa memória externa.

Elo a, 92 %: dá para tirar os fatos do modelo sem perda nas perguntas de conhecimento. RETRO, as camadas de memória, o Engram e agora o HippoRAG 2 mostram isso. Elo b, 82 %: o espaço liberado serve de fato para raciocinar melhor, com o mesmo orçamento. O Engram ganha 3 pontos, mas em parte em perguntas de conhecimento: é um indício, não uma prova. Elo c, 85 %: o custo da consulta (tempo, tráfego de memória) continua aceitável no uso real.

Conta: 0,92 × 0,82 × 0,85 = 64 %. É a maior lição de método: cada elo é sólido, mas três elos sólidos fazem uma corrente mediana. Nossos 75 % globais olhavam para o elo a, o mais convincente, e esqueciam os outros dois.

Fonte: DeepSeek, Engram: Conditional Memory via Scalable Lookup (2026), Berges et al., Memory Layers at Scale (Meta, 2024)

Comprovado

Novo: uma memória que não perde nada pelo caminho (2025)

O HippoRAG 2 guarda os trechos num grafo e circula por ele como um boato se espalha entre amigos. Ele supera a busca clássica ao mesmo tempo nos fatos simples, na compreensão do conjunto e nas ligações entre fatos distantes (cerca de 7 pontos a mais), onde os métodos com grafo anteriores perdiam nos fatos simples.

Fonte: Gutiérrez et al., From RAG to Memory: Non-Parametric Continual Learning for LLMs (ICML 2025)

VI

H3 · Regras e exceções: de 40 % para 48 %, restringindo

O que a H3 dizia: em todo lugar, guardar as regras e só os dados que escapam delas comprimiria o conhecimento.

Decomposta, a forma geral desaba. Elo a, 80 %: onde um programa pode conferir, sabemos tirar regras de exemplos (AlphaEvolve, FunSearch). Elo b, 60 %: guardar regras + exceções economiza de fato dados de treinamento; escolher bem os dados muda o formato da curva de aprendizado, o que é animador. Elo c, 45 %: isso se estende à linguagem do dia a dia, cheia de exceções e nuances. Produto: 0,8 × 0,6 × 0,45 = 22 %.

Em vez de manter uma hipótese ampla demais, nós a restringimos aos domínios verificáveis, onde nossas razões para acreditar são reais: 0,8 × 0,6 = 48 %. O elo c não some: vira uma pergunta para depois. Restringir não é trapacear, desde que se diga: uma hipótese mais estreita afirma menos, então tem mais chance de ser verdadeira.

Fonte: Google DeepMind, AlphaEvolve (2025), Sorscher et al., Beyond neural scaling laws (NeurIPS 2022)

VII

H4 · As exceções como âncora: de 70 % para 44 %

O que a H4 diz: quando cada geração de modelo aprende com a anterior, guardar os dados brutos raros impediria a deriva.

Elo a, 90 %: a deriva atinge primeiro os casos raros. Comprovado desde Shumailov. Elo b, 75 %: guardar dados reais impede a deriva. Gerstgrasser mostra que acumular em vez de substituir a evita; mas um estudo de 2025 mostra que uma pequena parcela de dados artificiais pode bastar para travar o progresso. Elo c, 65 %: guardar só os casos raros, e não tudo, basta. É a nossa versão econômica, e ninguém a testou.

Conta: 0,9 × 0,75 × 0,65 = 44 %. A maior queda do caderno. Nossos 70 % se apoiavam no elo a, muito sólido, e davam os outros dois como certos. Façamos o teste inverso: é mais provável que guardar só as exceções não baste? Sim, um pouco, enquanto ninguém tiver tentado. É exatamente o que dizem os 44 %.

Fonte: Shumailov et al., AI models collapse… (Nature, 2024), Gerstgrasser et al., Is Model Collapse Inevitable? (2024)

Comprovado

Novo: o colapso forte (2025)

Dohmatob e coautores mostram, num quadro matemático simplificado e depois em modelos de linguagem, que até 1 % de dados artificiais no treinamento pode impedir o modelo de aproveitar mais dados: a curva de aprendizado para de descer. E modelos maiores podem amplificar o efeito. Misturar, portanto, nem sempre basta: é preciso saber o que guardar.

Fonte: Dohmatob et al., Strong Model Collapse (ICLR 2025)

VIII

H5 · Um grafo, não uma árvore: de 65 % para 64 %

O que a H5 diz: o conhecimento é uma rede, uma ideia pertence a várias famílias; a memória útil seria feita de árvores que se cruzam.

Elo a, 85 %: estruturas em que um trecho pertence a vários grupos vencem as árvores simples nas perguntas que ligam vários fatos. GraphRAG, RAPTOR e HippoRAG 2 vão nessa direção. Elo b, 75 %: o custo de construir e manter continua razoável em grande escala.

Conta: 0,85 × 0,75 = 64 %. Quase sem mudança: nosso número global já estava bem calibrado. Um bom sinal para o método, que não derruba tudo o que toca.

Fonte: Edge et al., GraphRAG (Microsoft, 2024), Sarthi et al., RAPTOR (ICLR 2024)

IX

H6 · Os ganhos se multiplicam: de 35 % para 42 %

O que a H6 diz: empilhando especialistas, cascata, baixa precisão e hardware melhor, o custo de uma resposta cairia 100 vezes sem um novo modelo gigante.

Elo a, 95 %: cada alavanca sozinha divide o custo por 2 a 4. Elo b, 55 %: as alavancas são independentes o bastante para que o produto delas se sustente, com margem de um fator 3. É o elo fraco: a lei de Amdahl diz que acelerar uma parte só ajuda naquela parte. Elo c, 80 %: chega-se a 100 na prática.

Conta: 0,95 × 0,55 × 0,8 = 42 %. Por que subir b em relação à nossa síntese? Porque o mundo real fez o experimento por nós: com desempenho igual, os preços caíram muito mais rápido do que qualquer alavanca sozinha explica. É uma prova indireta de que as alavancas se empilham. Mas essas quedas também vêm de modelos novos, mais bem treinados, que a H6 exclui: daí um elo b de 55 %, não mais.

Comprovado

Novo: a queda medida dos preços (2025)

A Epoch AI mede que, com desempenho fixo, o preço de uma resposta cai de 9 a 900 vezes por ano conforme a tarefa; atingir o nível do GPT-4 em perguntas de ciências de nível de doutorado ficou 40 vezes mais barato a cada ano. Outro estudo, mais cauteloso, encontra de 5 a 10 vezes por ano para os modelos de ponta, e observa que usar os modelos de ponta, ao contrário, custa cada vez mais, porque eles são maiores e raciocinam por mais tempo.

Fonte: Epoch AI, LLM inference prices have fallen rapidly but unequally across tasks (2025), The Price of Progress: Algorithmic Efficiency and the Falling Cost of AI Inference (2025)

X

H7 · O juiz pode fazer descobrir? 43 %, reformulada

O que a H7 diz agora: com um treinamento longo e variado, um juiz confiável faria o modelo achar soluções que ele nunca achava, nem em milhares de tentativas.

Elo a, 95 %: um juiz torna o modelo mais confiável. Comprovado. Elo b, 45 %: prolongando o treinamento, ele amplia o que o modelo consegue achar. Duas equipes, muitas vezes com os mesmos pesquisadores, se respondem. Uma mostra uma ampliação real, sobretudo em código; a outra mostra que, em geral, o modelo perde o acesso a mais soluções do que ganha. Detalhe revelador: o título do segundo estudo ganhou um ponto de interrogação na última versão.

Conta: 0,95 × 0,45 = 43 %. Mais baixo que os antigos 50 %, mas para uma afirmação mais forte e mais clara. É a hipótese que mais importa para o resto do caderno: se ela cair, um modelo pequeno nunca vai superar sozinho o que já achava por acaso.

Fonte: Yue et al., Does RL Really Incentivize Reasoning Capacity Beyond the Base Model? (NeurIPS 2025)

Promissor

A favor: ProRL, o treinamento prolongado (2025)

Na NVIDIA, Liu e coautores treinam por muito tempo um modelo de 1,5 bilhão de parâmetros, estabilizando o aprendizado e variando as tarefas. O modelo resolve problemas em que o modelo inicial falhava qualquer que fosse o número de tentativas. Mas os próprios autores observam: em matemática, onde o modelo inicial já era forte, o acerto em 128 tentativas muitas vezes cai.

Fonte: Liu et al., ProRL: Prolonged Reinforcement Learning Expands Reasoning Boundaries (NeurIPS 2025)

Promissor

Contra: a coleira invisível (2025)

Wu e coautores, entre eles vários autores do ProRL, acompanham o treinamento passo a passo. A constatação deles em muitos testes: o reforço melhora a primeira tentativa, mas perde o acesso a mais respostas certas do que ganha. O modelo continua preso por uma coleira ao seu ponto de partida; para rompê-la, seria preciso semear ideias nas regiões que ele nunca explora.

Fonte: Wu et al., The Invisible Leash? Why RLVR May or May Not Escape Its Origin (2025)

XI

H8 · O pequeno bem cercado: de 55 % para 46 %

O que a H8 diz: nas tarefas verificáveis, um modelo de 8 bilhões de parâmetros bem cercado igualaria um modelo cem vezes maior, a um custo comparável ou menor.

Elo a, 90 %: ele atinge a mesma nota. Comprovado em matemática: um modelo de 1 bilhão com 512 tentativas filtradas supera um modelo de 405 bilhões. Elo b, 60 %: a um custo total comparável, contando todas as tentativas e o juiz, diante de gigantes de especialistas que só ligam uma pequena parte de si mesmos. Elo c, 85 %: isso vale além da matemática e do código, em outras tarefas verificáveis.

Conta: 0,9 × 0,6 × 0,85 = 46 %. O elo b é o coração da dúvida, e nossos antigos 55 % o escondiam. Um dado novo, porém, ajuda o pequeno: o que dá para rodar em casa alcança rápido os gigantes.

Fonte: Liu et al., Can 1B LLM Surpass 405B LLM? (2025)

XII

H9 · O mundo como professor: de 55 % para 54 %

O que a H9 diz: num computador comum, um juiz externo faz um modelo pequeno melhorar claramente, até o teto do que ele achava em muitas tentativas.

Elo a, 75 %: o ganho é claro (pelo menos 5 pontos) em qualquer modelo pequeno moderno, não só numa família escolhida. Elo b, 90 %: cabe numa placa gamer em uma semana; são as nossas contas da página anterior. Elo c, 80 %: a descrição do teto está certa; a coleira invisível a confirma, o ProRL a contesta, mas depois de um treinamento bem mais longo que uma semana.

Conta: 0,75 × 0,9 × 0,8 = 54 %. Quase sem mudança, mas a dúvida mudou de lugar: agora está no elo a, por causa do estudo abaixo. Nosso experimento previsto usa o Llama, justamente a família em que os efeitos fáceis somem. Melhor assim: ele será ainda mais convincente.

Comprovado

Novo: recompensas aleatórias que funcionam… numa só família (2026)

Shao e coautores treinam o Qwen2.5-Math-7B por reforço com recompensas sorteadas ao acaso: ele ganha 21,4 pontos no teste MATH-500, quase tanto quanto os 29,1 pontos obtidos com as respostas verdadeiras. O reforço desperta sobretudo um hábito que já existia (raciocinar em código). No Llama 3 ou no OLMo 2, essas recompensas falsas não rendem quase nada. Lição: testar em várias famílias antes de cantar vitória.

Fonte: Shao et al., Spurious Rewards: Rethinking Training Signals in RLVR (ICML 2026)

XIII

O quadro geral

O que cai: H2 (75 → 64), H4 (70 → 44), H8 (55 → 46), H7 (50 → 43, reformulada) e a H9 em um ponto. Quase sempre pelo mesmo motivo: tínhamos quantificado o elo mais visível e dado os outros como certos.

O que sobe: H1 (50 → 55) graças a um estudo novo, H6 (35 → 42) graças à queda medida dos preços, H3 (40 → 48) ao ser restringida. A H5 quase não se mexe.

A grande tese do caderno se apoia em três hipóteses: uma memória externa (H2), organizada em grafo (H5), e um modelo pequeno que melhora com um juiz (H9). Se fossem independentes: 0,64 × 0,64 × 0,54 = 22 %. Elas não são totalmente (uma mesma realidade técnica as sustenta), então o valor verdadeiro é mais alto, sem passar do da mais fraca, 54 %. Dizemos cerca de 30 %: menos de uma chance em duas de que o programa inteiro se sustente. É por isso que precisamos decidir, elo por elo.

Fig. O — Onde a dúvida está

confiança hoje (produto dos elos)confiança anteriorelos a, b, c

Esquema ilustrativo: mostra a ideia, não medições.

Cada linha é uma hipótese. Os círculos são seus elos, cada um quantificado supondo verdadeiros os anteriores; a barra é o produto deles, ou seja, a nova confiança; o traço vermelho, a antiga. Uma hipótese é tão frágil quanto seu elo mais fraco, e um pouco mais: a barra sempre termina à esquerda do círculo mais à esquerda.
XIV

Três experimentos para decidir

Qual experimento mexeria mais nos nossos números? Para cada um, escrevemos os resultados possíveis, sua probabilidade e a confiança que decorreria deles. Vale uma regra de coerência: a média das confianças depois do experimento precisa igualar a confiança de antes. Senão, já saberíamos para que lado ele vai cair, e teríamos de mudar nosso número na hora. Conferimos essa regra para os três.

Medimos então o deslocamento esperado: a soma, ponderada pelas probabilidades, das mudanças de confiança. Quanto maior, mais o experimento nos ensina.

Especulativo

E1 · Duas famílias, juiz verdadeiro contra juiz aleatório · cerca de 20 €

O experimento da página anterior, feito com Llama e Qwen, com recompensas verdadeiras e recompensas aleatórias: quatro semanas de uma placa gamer. Três desfechos: o Llama melhora claramente só com o juiz verdadeiro, teto intacto (55 %) → H9 66 %, H7 37 %; só o Qwen melhora (25 %) → H9 25 %, H7 38 %; o Llama melhora e seu acerto em 64 tentativas dá um salto (20 %) → H9 60 %, H7 65 %. Médias: H9 54,6 %, H7 42,9 %, coerentes. Deslocamento esperado: 24 pontos.

Especulativo

E2 · Rótulos hierárquicos contra rótulo plano · cerca de 16 000 h de GPU

Treinar modelos de 1 e 8 bilhões de parâmetros sem rótulo, com o endereço de origem, e com níveis e dependências. Três desfechos: a hierarquia vence o rótulo plano e se mantém em 8 bilhões (50 %) → H1 75 %; só o rótulo plano ajuda e seu ganho derrete (30 %) → H1 40 %; não sobra nada em 8 bilhões (20 %) → H1 25 %. Média 54,5 %, coerente. Deslocamento esperado: cerca de 20 pontos. Custo: 6 operações por parâmetro e por palavra, com 20 palavras por parâmetro, três vezes, a 400 trilhões de operações úteis por segundo por chip (uma hipótese): cerca de 16 000 horas de GPU de data center. Coisa de laboratório.

Especulativo

E3 · Cinco gerações: guardar tudo, os raros ou nada · cerca de 50 h de GPU

Modelos pequenos (125 milhões de parâmetros) aprendem cada um com o anterior, cinco vezes seguidas, guardando todos os dados reais, só os 5 % mais raros, ou nada. Três desfechos: os 5 % raros funcionam tão bem quanto tudo (40 %) → H4 75 %; ajudam pela metade (45 %) → H4 25 %; nem guardar tudo basta (15 %) → H4 20 %. Média 44,3 %, coerente. Deslocamento esperado: cerca de 25 pontos, por umas cinquenta horas de GPU alugadas (nossa estimativa, incluindo a geração dos textos).

XV

O que faremos com esses números

A ordem dos experimentos decorre da conta: E1 e E3 ensinam pelo menos tanto quanto E2, por centenas a milhares de vezes menos. E1 cabe num computador comum; E3, em algumas horas de computação alugada. São esses que recomendamos fazer primeiro.

Nossas regras de revisão, para não trapacear depois. Uma hipótese só muda de número se um elo mudar, e diremos qual. Uma hipótese com um elo que cair abaixo de 20 % será reformulada ou retirada, não mantida por hábito. E cada hipótese nova vai chegar já dividida em elos.

O que esta página ganha não é mais um número. É saber, para cada hipótese, que frase precisa teria de ser provada ou refutada. Uma hipótese que se sabe como derrubar é uma hipótese útil.

Voltar ao topo