A IA do amanhã Glossário
PT

← Voltar ao caderno

Aprofundamento · Folio V

Um modelo pequeno à altura de um gigante?

O Llama 3 8B tem 8 bilhões de parâmetros. Os maiores modelos abertos têm um trilhão ou mais. Dá para fechar essa distância sem fabricar um novo gigante? Nossa resposta cabe numa frase: um modelo pequeno não precisa ser grande, precisa ter acesso ao que o grande guarda nos pesos. Aqui estão o raciocínio, as contas e os limites.

Promissor atualizado em

I

A pergunta, feita com honestidade

O Llama 3 8B saiu em abril de 2024. Foi treinado com mais de 15 trilhões de tokens, mas tem só 8 bilhões de parâmetros. Do outro lado, o Kimi K2 tem um trilhão, e os modelos fechados de ponta provavelmente são ainda maiores, embora não exista número oficial. A diferença de tamanho vai, portanto, de 125 vezes a várias centenas de vezes.

"Tão bom" precisa ser definido, senão a pergunta não tem resposta. Tão bom em quê, e a que custo? Um modelo pequeno que iguala um gigante gastando dez vezes mais não ganhou nada. Procuramos, então, um modelo pequeno que tenha tantas respostas certas, com custo comparável ou menor, e vamos dizer para que tipos de tarefa isso parece possível.

Fonte: Meta, Llama 3 8B model card (2024), Kimi Team, Kimi K2 (2025)

II

De onde vem a distância? Quatro coisas diferentes

Quando um modelo grande se sai melhor, não é uma vantagem só, são quatro. Elas não se fecham do mesmo jeito, e essa é a chave do problema.

1. O saber, isto é, os fatos guardados. O caderno viu isso desde o início: um modelo armazena cerca de 2 bits de conhecimento por parâmetro. Vamos à conta: 8 bilhões × 2 bits = 16 bilhões de bits, ou cerca de 2 GB de conhecimento para o Llama 3 8B. Para um modelo de um trilhão: cerca de 250 GB. Uma razão de 125.

2. O alcance: o modelo consegue, pelo menos de vez em quando, achar a resposta certa? Chamemos de p a sua probabilidade de acertar de primeira. Se p é zero, o problema está fora do seu alcance. 3. A confiabilidade: p não é zero, mas é pequeno. O modelo sabe fazer, só erra com frequência.

4. A amplitude: saber um pouco de tudo, ligar áreas distantes, perceber uma nuance, julgar uma pergunta aberta sem uma única "resposta certa".

Nossa ideia central: cada parte tem o seu remédio. O saber vai para uma memória externa. O alcance se aprende com um professor ou se pega emprestado de uma ferramenta. A confiabilidade se compra tentando várias vezes, desde que haja um juiz. A amplitude não tem remédio simples: é aí, achamos, que os parâmetros compram mesmo alguma coisa.

Fonte: Allen-Zhu & Li, Physics of Language Models 3.3 (2024)

III

Fechar o alcance: um professor e ferramentas

Um modelo nunca acha uma resposta que não tem como construir. Dois remédios: aprender com um professor que já sabe (a destilação), ou pegar a capacidade emprestada de uma ferramenta que a tem (uma calculadora, um interpretador de código). Estes dois estudos mostram que um esqueleto "velho" basta.

Comprovado

Um esqueleto velho, um professor novo: DeepSeek-R1-Distill-Llama-8B

A DeepSeek pegou o Llama 3.1 8B, da mesma família do Llama 3, e o treinou com raciocínios escritos pelo seu grande modelo R1. Resultado: 50,4 % na competição de matemática AIME 2024, contra 9,3 % do GPT-4o; 89,1 % no MATH-500, contra 74,6 %; e em ciências (GPQA Diamond), 49,0 % contra 49,9 %, quase empatados. Para comparar, a Meta informa 51,9 % no MATH para o seu próprio Llama 3.1 8B, um teste parecido, mas não idêntico. O número de parâmetros não mudou: o que mudou foi o que se ensinou a eles.

Fonte: DeepSeek-AI, DeepSeek-R1 (2025), Meta, Llama 3.1 8B Instruct model card (2024)

Comprovado

Pegar a capacidade emprestada: ToRA, com uma ferramenta de cálculo

O ToRA ensina um modelo a alternar raciocínio em palavras e pequenos programas que ele manda executar: cálculos, álgebra simbólica. Construído sobre o Llama 2 (2023), o ToRA-7B chega a 44,6 % no MATH, 22 pontos acima do melhor modelo aberto da época, que era dez vezes maior (70 bilhões). A versão de 34 bilhões chega a superar o GPT-4 raciocinando sem ferramenta. A ferramenta não erra conta: o modelo só precisa saber o que pedir a ela.

Fonte: Gou et al., ToRA (ICLR 2024)

IV

Fechar a confiabilidade: tentar várias vezes e filtrar

Quando p é pequeno mas não zero, o remédio é simples em princípio: tentar várias vezes e ficar com a tentativa certa. Tudo depende então do juiz que a reconhece. Três estudos medem até onde isso vai.

Comprovado

Large Language Monkeys: 250 tentativas (2024)

Ao multiplicar as tentativas, a fração de problemas resolvidos por pelo menos uma tentativa sobe de forma regular ao longo de quatro ordens de grandeza. No SWE-bench Lite, um teste feito de chamados reais tirados de projetos do GitHub, um modelo passa de 15,9 % com uma tentativa para 56 % com 250, acima da melhor marca da época com uma só tentativa (43 %). Mas onde nada verifica automaticamente, escolher por votação ou com um modelo de pontuação estaciona depois de algumas centenas de tentativas.

Fonte: Brown et al., Large Language Monkeys (2024)

Promissor

1 bilhão contra 405 bilhões (2025)

Com uma estratégia de tentativas bem ajustada e um modelo que dá nota a cada passo do raciocínio, o Llama 3.2 1B tira 72,2 % no MATH-500 com 512 tentativas, contra 71,4 % do Llama 3.1 405B numa tentativa. Uma vitória apertada, e o pequeno perde no AIME 2024, mais difícil. Nossa conta: 512 tentativas de um modelo de 1 bilhão usam mais ou menos tantos parâmetros por palavra quanto uma tentativa do modelo de 405 bilhões (512 contra 405), sem contar o juiz. Com cálculo quase igual, o pequeno empata.

Fonte: Liu et al., Can 1B LLM Surpass 405B LLM? (2025)

Promissor

rStar-Math: buscar como no xadrez (Microsoft, 2025)

Um modelo pequeno explora as soluções passo a passo, como um programa de xadrez explora as jogadas, guiado por um segundo modelo pequeno que julga cada passo. Os dois melhoram juntos em quatro rodadas, com 747 mil problemas. O Qwen2.5-Math-7B passa de 58,8 % para 90,0 % no MATH, e o Phi3-mini (3,8 bilhões) de 41,4 % para 86,4 %, acima do o1-preview. Os autores não destilaram nenhum modelo mais forte.

Fonte: Guan et al., rStar-Math (2025)

V

Fechar o saber: uma memória e especialistas

Para os fatos, o remédio parece óbvio: não aprendê-los, consultá-los. Os resultados são mais sutis do que se imagina. E para a especialidade funciona outra ideia: muitos pequenos especialistas em vez de um só generalista.

Comprovado

MassiveDS: um trilhão de tokens para consultar (2024)

Uma equipe da Universidade de Washington montou uma base de 1,4 trilhão de tokens que o modelo consulta ao responder. Nas perguntas de fatos (TriviaQA, Natural Questions), o Llama 2 7B com uma base de menos de 100 bilhões de tokens vence o Llama 2 13B e o Llama 3 8B sem base. Mas no MMLU e no MedQA, que pedem mais raciocínio, a memória não deixa o pequeno passar o grande. Consultar traz fatos, não o raciocínio que os liga.

Fonte: Shao et al., Scaling Retrieval-Based Language Models with a Trillion-Token Datastore (2024)

Promissor

LoRA Land: 310 especialistas contra o GPT-4 (2024)

A Predibase ajustou 310 modelos pequenos (10 modelos base × 31 tarefas) com adaptadores LoRA de 4 bits. Em média, eles superam o modelo base em 34 pontos e o GPT-4 em 10 pontos, cada um na sua tarefa. E como o modelo base é compartilhado, 25 especialistas Mistral 7B cabem numa única placa de vídeo de 80 GB. Limite: são tarefas estreitas e bem definidas, não uma conversa livre.

Fonte: Zhao et al., LoRA Land (Predibase, 2024)

VI

A conta: quando o pequeno ganha?

Vamos montar um modelo simples. Uma tentativa do modelo pequeno acerta com probabilidade p. Com k tentativas independentes e um juiz perfeito, a chance de pelo menos uma estar certa é 1 − (1 − p)ᵏ. Por exemplo, com p = 30 % e 5 tentativas: 1 − 0,7⁵ = 1 − 0,168 = 83 %.

Quantas tentativas para igualar um modelo grande que acerta 80 % das vezes de primeira? É preciso 1 − (1 − p)ᵏ ≥ 0,8, ou seja, k ≥ ln(0,2) / ln(1 − p). Para p = 30 %: 5 tentativas. Para 12 %: 13 tentativas. Para 5 %: 32 tentativas. Para 0 %: nunca. É a figura abaixo.

Falta o custo. Uma tentativa do pequeno custa uma fração c de uma tentativa do grande, mais ou menos a razão entre os parâmetros ativos por palavra. O pequeno compensa se k × c < 1. Juntando as duas fórmulas, chega-se a um limiar: o pequeno ganha assim que p passa de 1 − 0,2ᶜ. Esse limiar depende muito do gigante do outro lado.

Diante de um gigante denso de 2 trilhões de parâmetros, c = 8 / 2000 = 0,004 e o limiar cai para 0,6 %: quase tudo o que o pequeno sabe fazer, mesmo raramente, passa a compensar. Diante de um gigante de especialistas com 100 bilhões de parâmetros ativos, c = 0,08 e o limiar sobe para 12 %. Diante do Kimi K2 e seus 32 bilhões ativos, c = 0,25 e o limiar chega a 33 %.

Duas lições. Primeiro, quanto mais econômico o gigante, mais difícil vencê-lo: os gigantes de especialistas, que acendem só uma pequena parte de si, reduzem a vantagem do pequeno. Segundo, o juiz é a peça-chave: sem ele, não se sabe qual das k tentativas guardar. Por fim, um aviso honesto: nossa conta supõe tentativas independentes e um juiz de graça. Na prática, um modelo costuma repetir o mesmo erro, e Brown e seus coautores observam uma subida mais lenta que a da nossa fórmula: mais ou menos o mesmo ganho a cada vez que o número de tentativas dobra. São precisas, então, mais tentativas do que esta conta indica.

Fonte: Kimi Team, Kimi K2 (2025), Brown et al., Large Language Monkeys (2024)

Fig. M — Alcançar o gigante na base das tentativas

Acerta 30 % das vezes: 5 tentativas bastam12 %: 13 tentativas5 %: 32 tentativas0 %: nunca

Esquema ilustrativo: mostra a ideia, não medições.

Cada curva segue a fórmula 1 − (1 − p)ᵏ: a chance de pelo menos uma de k tentativas estar certa, se um juiz souber reconhecê-la. Os pontos marcam onde o modelo pequeno alcança um modelo grande que acerta 80 % das vezes de primeira. É um cálculo ideal: na prática, as tentativas de um mesmo modelo se parecem, e são precisas mais.
VII

O plano: a oficina do modelo pequeno

Eis a nossa proposta. Ela reúne as pistas do caderno em volta do modelo pequeno, como os aprendizes e as ferramentas em volta do mestre no ateliê de Leonardo. Seis peças.

1. Um encaminhador reconhece o tipo de pergunta (cálculo, código, fato, redação) e escolhe as peças úteis. 2. Uma biblioteca de especialistas: adaptadores LoRA, um por área, aprendidos com um modelo grande. Nossa conta: um adaptador de posto 16 em todas as camadas do Llama 3 8B tem cerca de 42 milhões de parâmetros, 0,5 % do modelo e cerca de 84 MB. Mil especialistas pesam 84 GB e só um acende de cada vez: é uma mistura de especialistas, mas na escala do sistema.

3. Uma memória externa hierarquizada, como nas partes II e III: os fatos não ficam nos pesos, mas numa base organizada em árvores e grafos. 4. Uma caixa de ferramentas e de programas: calculadora, interpretador de código, resolvedores, e os programas já encontrados, reaproveitados como a biblioteca de habilidades do Voyager.

5. Um juiz: testes para o código, um recálculo para a matemática, um modelo que dá nota aos passos no resto. O modelo pequeno tenta várias vezes, o juiz filtra. 6. Um recurso: se nada passa pelo juiz, a pergunta sobe para o modelo grande, como numa cascata. A resposta dele, depois de verificada, serve para treinar o próximo especialista: o topo da pirâmide ensina a base (hipótese H7).

Uma última conta diz se o conjunto vale a pena. Cada pergunta custa k × c (as tentativas do pequeno) mais a fração e de perguntas que sobem para o grande. Com 8 tentativas a c = 0,08, isso dá 0,64 + e. A oficina compensa enquanto menos de 36 % das perguntas subirem. Com 10 %, custa 0,74, cerca de um quarto a menos que o gigante sozinho. E cada pergunta que sobe enriquece os especialistas, então e deve cair com o tempo.

Fonte: Zhao et al., LoRA Land (Predibase, 2024), Wang et al., Voyager (2023)

VIII

E um modelo antigo como o Llama 3?

Boa notícia: a idade dos pesos importa menos do que o que se ensina a eles depois. O ToRA foi construído sobre o Llama 2 (2023); o DeepSeek-R1-Distill-Llama-8B, sobre o Llama 3.1 8B, da mesma família do Llama 3. Nos dois casos, um treinamento extra com bons exemplos fez os resultados darem um salto.

Os verdadeiros limites do Llama 3 8B estão em outro lugar. Sua janela de contexto: 8 mil tokens, cerca de 6 mil palavras, uma dúzia de páginas. É pouco para ler documentos tirados de uma memória; o Llama 3.1 a ampliou para 128 mil. Seu ponto de partida em matemática: 30 % no MATH, segundo a Meta. Quanto mais baixo o ponto de partida, menor o p, e mais tentativas são necessárias, ou um professor.

Nossa receita para um modelo antigo, na ordem: primeiro um adaptador aprendido com um professor, para que ele saiba raciocinar por muito tempo e chamar ferramentas; depois a memória e as ferramentas, para os fatos e os cálculos; por fim as tentativas múltiplas com um juiz, onde houver um. A ordem importa: tentativas múltiplas só ajudam se p já for grande o bastante, e é o professor que o faz subir.

Fonte: Meta, Llama 3 8B model card (2024), Meta, Llama 3.1 8B Instruct model card (2024)

IX

O que resiste

As perguntas sem juiz. Redigir, aconselhar, decidir uma questão aberta: nenhum programa diz qual tentativa é a melhor. Escolher por votação ou com um modelo de pontuação estaciona depois de algumas centenas de tentativas.

O alcance zero. Se p é zero, nenhum número de tentativas ajuda. O próprio aprendizado por reforço não vai além do que o modelo base encontra em muitas tentativas. Então é preciso um professor ou uma ferramenta, e nem sempre eles existem.

A amplitude. Ligar mil fatos espalhados, perceber uma nuance, manter um documento longo na cabeça. A memória ajuda com um fato preciso, bem menos para raciocinar sobre muitos fatos ao mesmo tempo: o MassiveDS não ajudava o pequeno a passar o grande no MMLU. É aí, achamos, que os parâmetros compram mesmo alguma coisa.

O tempo. Trinta e duas tentativas levam tempo, ou máquinas em paralelo. Para uma conversa fluida, é um freio de verdade, mesmo quando o custo total é menor.

Fonte: Brown et al., Large Language Monkeys (2024), Yue et al., Does RL Really Incentivize Reasoning Capacity Beyond the Base Model? (NeurIPS 2025), Shao et al., Scaling Retrieval-Based Language Models with a Trillion-Token Datastore (2024)

X

Nossas apostas, em números

O que vem a seguir é o nosso próprio raciocínio, não um resultado publicado. Cada aposta tem um grau de confiança, como as hipóteses do caderno.

Especulativo

Nas tarefas verificáveis, a distância é sobretudo de confiabilidade · 65 %

Em matemática, em código com testes, em provas formais, o modelo pequeno muitas vezes acha a resposta certa de vez em quando: multiplicar isso com tentativas e um juiz fecha o essencial da distância. Esta aposta cairia se aparecessem muitos problemas que o gigante resolve e o pequeno nunca resolve, nem em mil tentativas.

Especulativo

Fatos isolados se compram com disco, não com parâmetros · 60 %

Para uma pergunta cuja resposta cabe num documento, uma boa memória externa vale centenas de bilhões de parâmetros. Para uma pergunta que exige combinar muitos fatos, bem menos.

Especulativo

Um 8B antigo bem equipado iguala um gigante numa lista fechada de tarefas · 55 %

Num conjunto definido de tarefas verificáveis, um Llama 3 8B com adaptadores, uma memória, ferramentas e um juiz chegaria ao nível de um modelo de um trilhão de parâmetros, com custo comparável. É a nossa hipótese H8.

Especulativo

Nas tarefas abertas, a distância vai continuar · 70 %

Escrever, aconselhar, julgar: sem verificador, multiplicar as tentativas quase não serve, e a amplitude não se destila num adaptador. Achamos que aqui os gigantes mantêm uma vantagem clara.

XI

O experimento a fazer, e nossas previsões

Pegar o Llama 3.1 8B, ou o Llama 3 8B para dificultar, e montar a oficina. Compará-la, com o mesmo custo, a um modelo de ponta em quatro famílias de tarefas: matemática (MATH-500, AIME), código com testes (LiveCodeBench), fatos com memória (TriviaQA, Natural Questions) e perguntas abertas julgadas por pessoas.

Nossas previsões, escritas antes de qualquer experimento para que possam nos provar errados. Em matemática e código: a menos de 5 pontos do gigante, com custo igual ou menor. Em fatos: a menos de 10 pontos com uma boa memória. Em perguntas abertas: um atraso claro. Se a distância em matemática passar de 15 pontos, nossa aposta na confiabilidade cai, e vamos baixar a H8.

Voltar ao topo