Até aqui estudamos cada pista sozinha. Mas uma IA de amanhã as usaria juntas. Pergunta simples, resposta nem tanto: as economias se somam, ou pisam no pé umas das outras?
Promissoratualizado em
I
A ideia, de forma simples
Imagine o ateliê de Leonardo. Para entregar mais quadros sem se esgotar, ele pode passar o trabalho primeiro aos aprendizes (primeiro o modelo pequeno), chamar só o especialista útil (os especialistas), usar moldes em vez de pintar tudo à mão (os programas), moer menos pigmento (menos bits), trocar de ferramentas (a máquina), pedir ao mestre que revise (a verificação) e guardar seus modelos num caderno em vez de na cabeça (a memória à parte).
Cada truque ataca uma parte diferente do custo. Por isso dá para esperar que eles se empilhem. Mas eles também se tocam: um molde não serve para nada se ninguém verifica o resultado, e muitos aprendizes ocupam espaço no ateliê. A figura percorre os 21 pares.
Especialistas × menos bits: o gpt-oss guarda seus especialistas em 4 bits e cabe numa única placa de vídeo.
Menos bits × máquina: o NorthPole roda um modelo de linguagem em 4 bits, com os pesos guardados no chip.
Especialistas × máquina: muitos especialistas são muitos pesos para acomodar, e os chips com memória embutida têm pouca.
Menos bits × verificar: raciocínios longos acumulam erros de arredondamento.
Esquema ilustrativo: mostra a ideia, não medições.
Sete pistas dão 21 pares. Cada casa diz se duas pistas se ajudam (+), se atrapalham (−), fazem as duas coisas (±) ou se ignoram (·). É uma leitura do autor, baseada nos estudos citados no caderno: poucos estudos testaram duas pistas juntas, e quase nenhum mediu a parte de cada uma na mistura.II
O trajeto de uma pergunta
Vamos seguir uma pergunta por um sistema que usasse as sete pistas. 1. Um encaminhador olha para ela. Se um programa já sabe responder (um cálculo, uma conversão), ele é chamado: sai quase de graça.
2. Se não, um modelo pequeno responde. Ele é feito de especialistas dos quais só alguns se acendem, seus pesos estão em 4 bits e ele roda num chip que mantém esses pesos perto do cálculo. 3. Se precisa de um fato, ele o procura numa memória em vez de contar com os pesos.
4. A resposta passa por uma verificação: testes, se for código; senão, um modelo maior que confirma várias palavras de uma vez. 5. Só se a verificação falhar a pergunta sobe para o modelo grande. Em cada etapa, só se paga o preço cheio quando é necessário.
III
O que se soma
Quatro combinações já funcionam em sistemas reais. O que elas têm em comum: as duas pistas agem sobre fatores diferentes, de modo que uma não come o ganho da outra.
Comprovado
Especialistas + menos bits: gpt-oss e Kimi K2 Thinking
Os especialistas reduzem a parte do modelo que calcula; os 4 bits reduzem o tamanho de cada peso. As duas coisas se acumulam: o gpt-oss acende só 5,1 bilhões de seus 117 bilhões de parâmetros e guarda seus especialistas em 4 bits, o bastante para caber numa única GPU de 80 GB. O Kimi K2 Thinking faz o mesmo na escala de um trilhão de parâmetros e gera cerca de duas vezes mais rápido.
Um chip que guarda os pesos no lugar tem pouca memória; pesos em 4 bits ocupam um quarto do espaço dos de 16 bits. Foi assim que a IBM rodou um modelo de 3 bilhões de parâmetros em 16 placas NorthPole, a menos de um milissegundo por palavra. Sem a compressão, o modelo não teria cabido nos chips.
Programas + verificação: AlphaEvolve e ShinkaEvolve
Um programa se verifica facilmente: é só rodar e medir. É isso que permite deixar um modelo propor milhares e ficar só com os melhores. O AlphaEvolve tirou daí uma multiplicação de matrizes mais curta e 0,7 % de processamento recuperado no Google; o ShinkaEvolve bate um recorde em 150 tentativas.
Primeiro o modelo pequeno + verificação: a decodificação especulativa
A cascata mais bem-acabada é também uma verificação: um modelo pequeno propõe várias palavras e o grande as confere numa única passada. O texto final é exatamente o do modelo grande, mas sai de 2 a 3 vezes mais rápido, e até 6,5 vezes com o EAGLE-3.
Três atritos aparecem de novo e de novo nos estudos. Eles surgem quando duas pistas puxam o mesmo recurso: a memória, a precisão ou a confiança que se pode dar ao juiz.
Promissor
Muitos especialistas contra pouca memória
Um modelo de especialistas só acende alguns, mas precisa manter todos à mão. Os chips rápidos com memória embutida têm muito pouca: a Taalas grava um modelo de 8 bilhões de parâmetros, não um de um trilhão. As leis de escala conjuntas suavizam o conflito sem resolvê-lo: o número certo de especialistas depende da memória disponível.
Cada palavra escrita se apoia nas anteriores, então um pequeno erro de arredondamento pode se propagar. Modelos que raciocinam por muito tempo são mais sensíveis a isso: a Moonshot AI explica que precisou aprender os 4 bits durante o treinamento do Kimi K2 Thinking. E os modelos muito bem treinados, os que mais gostaríamos de comprimir, são os mais frágeis.
Uma cascata só vale o que vale o seu juiz. Um encaminhador pode ser enganado de propósito para mandar tudo ao modelo caro, e com regras iguais muitos encaminhadores mal superam a estratégia mais simples. Quanto mais andares se empilham, mais juízes confiáveis são necessários, e cada juiz é mais uma porta para um ataque.
No papel é tentador: se cada pista dividisse o custo por 2, sete pistas o dividiriam por 2⁷ = 128. É o espírito da nossa hipótese H6, que estimamos em 35 %.
Mas uma regra simples, a lei de Amdahl, esfria o entusiasmo: acelerar uma parte do trabalho só ajuda nessa parte. Exemplo puramente ilustrativo: se o modelo grande representa metade do custo total e o tornamos dez vezes mais barato, o custo total não cai 90 %, mas 45 %. Passa de 100 para 50 + 5 = 55.
Os ganhos se multiplicam, então, quando as pistas miram partes diferentes do custo (especialistas e bits), e se sobrepõem quando miram a mesma: uma cascata que evita o modelo grande economiza menos se esse modelo já ficou barato graças aos especialistas. Nossa leitura: combinar rende muito mais que uma pista só, mas bem menos que o produto dos ganhos tomados um a um. Ninguém mediu isso direito ainda.
A matriz é uma leitura, não uma medida. Ela se apoia em estudos que quase sempre testam uma pista por vez. Os sistemas que combinam várias, como o gpt-oss ou o Kimi K2, não publicam o que cada pista traz para a mistura.
Ela também deixa de fora dois custos bem reais: a complexidade (cada pista a mais é mais uma peça que pode quebrar) e o agrupamento de pedidos. Um servidor é eficiente quando atende muitas perguntas parecidas ao mesmo tempo; cada encaminhamento, cada profundidade variável quebra um pouco esses grupos.
VII
Como colocá-la à prova
Um experimento simples resolveria a questão: pegar um modelo aberto e acrescentar as pistas uma por uma, em várias ordens, medindo a cada vez o custo por resposta certa no mesmo teste.
Se os ganhos se multiplicam, a ordem não importa e o último acréscimo rende tanto quanto o primeiro. Se eles se sobrepõem, cada acréscimo rende menos que o anterior. Essa curva diria, melhor que qualquer tabela, por qual pista começar.