Aprofundamento · Folio IV
Resolver um sudoku leva tempo; verificar uma grelha preenchida leva segundos. Em muitos problemas, verificar é muito mais fácil do que encontrar. A IA começa a apoiar-se nesta assimetria a duas escalas: a palavra e a resposta inteira.
Um modelo de linguagem escreve uma palavra de cada vez, e cada palavra o obriga a reler todos os pesos. Mas verificar várias palavras propostas pode ser feito numa só passagem, quase tão depressa como escrever uma. Daí a ideia: um modelo pequeno e rápido adivinha, e o grande só confirma.
À escala de uma resposta inteira, a mesma assimetria se mantém: produzir muitas tentativas e deixar um verificador (testes, um verificador de provas, uma calculadora) ficar com a correta.
Na decodificação especulativa (Google, 2023), o modelo pequeno propõe algumas palavras; o grande calcula, em paralelo, a probabilidade que teria dado a cada uma. Uma regra de aceitação engenhosa fica com as boas e volta a sortear a primeira má, de modo que o texto segue exatamente a mesma distribuição que o do modelo grande sozinho.
Quanto mais o modelo pequeno acerta, maior é o ganho. Os trabalhos seguintes procuram, por isso, fazê-lo adivinhar melhor, nomeadamente dando-lhe acesso aos estados internos do modelo grande.
Fonte: Leviathan, Kalman & Matias, Speculative Decoding (ICML 2023)
Fig. K — Propor e depois verificar
ogatodormedebaixodono
4 palavras escritas com uma só passagem do modelo grande
Esquema ilustrativo: mostra a ideia, não medições.
Comprovado
No T5-XXL, 2 a 3 vezes mais rápido com saídas idênticas, sem voltar a treinar nem modificar o modelo. Hoje é um componente padrão dos servidores de IA.
Fonte: Leviathan, Kalman & Matias, Speculative Decoding (ICML 2023)
Comprovado
O modelo que propõe é uma pequena cabeça ligada às camadas internas do modelo grande, em vez de um modelo à parte. Aceleração reportada: até 6,5 vezes, 1,4 vezes melhor do que o EAGLE-2, e 1,38 vezes mais vazão mesmo com 64 pedidos servidos em conjunto.
Fonte: Li et al., EAGLE-3 (2025)
Promissor
Com 250 tentativas e os próprios testes dos projetos como verificador, um modelo aberto corrige 56 % de problemas reais do GitHub (SWE-bench Lite) contra 15,9 % numa tentativa, acima do melhor resultado numa tentativa da época (43 %). Cinco tentativas do modelo barato custavam menos do que uma tentativa dos modelos caros, e resolviam mais.
Tudo depende do verificador. Para código com testes ou uma prova matemática, a verificação é fiável. Para um ensaio ou um conselho não há teste automático: os votos por maioria e os modelos de pontuação estagnam após algumas centenas de tentativas, muito abaixo do que permitiria um verificador perfeito. E a decodificação especulativa acelera a escrita, não o pensamento: não torna o modelo grande mais inteligente.
A verificação reforça as outras alavancas de H6: uma cascata precisa de um juiz, uma ferramenta precisa de testes, um modelo pequeno pode tentar muitas vezes se algo controlar seu trabalho. Também sugere um papel para nossa hierarquia: as regras do topo da pirâmide poderiam servir de verificadores para os detalhes de baixo.
Para perguntas sobre artigos da OrigoTech cuja resposta seja um número ou uma data, deixar um modelo pequeno responder 10 vezes e ficar só com as respostas confirmadas pelo próprio texto do artigo. Comparar a exatidão com uma única resposta de um modelo grande.