Modelos
Agentes de IA conseguem criar um aplicativo inteiro? O ViBench 2.0 da Replit os põe à prova
O ViBench 2.0 da Replit testa se agentes de IA criam produtos função por função. Analisamos pontuações, custos, falhas e limites.
Um agente de IA consegue criar uma demonstração de aplicativo convincente em minutos. Manter esse aplicativo funcionando à medida que novas funções são adicionadas é um desafio maior. O novo ViBench 2.0 da Replit testa justamente esse problema: pede que agentes criem produtos a partir de um projeto vazio e depois ampliem o próprio código função por função.
Publicado em 28 de outubro, o benchmark abrange 17 produtos, 241 pedidos de funções e 544 planos de teste. Nas execuções oficiais divulgadas pela Replit, os três principais modelos passaram em todos os planos de teste em 49% a 65% das compilações. A maioria dos planos individuais passou, mas as interações entre funções continuaram sendo uma fonte comum de falhas (Replit).
São resultados de um benchmark criado pela Replit, empresa que também vende ferramentas de desenvolvimento com IA. Sua parceira Fireworks executou as comparações oficiais. Elas são uma evidência útil sobre este teste específico, não uma garantia de que um modelo construirá seu produto com sucesso.
Como funciona o ViBench 2.0
Um agente começa com uma especificação curta e um projeto vazio. Ele cria uma versão inicial e depois adiciona até 18 funções sem conhecer a sequência completa de antemão. Após a última função, um agente avaliador separado executa os planos de teste em um navegador real, clicando e digitando como um usuário (Replit).
Os produtos imitam categorias como edição de documentos, hospedagem de código e transporte por aplicativo. Os testes verificam detalhes como se um banco de dados novo inicia corretamente, se uma atualização sobrescreve o trabalho de outro usuário ou se uma tarifa dividida soma corretamente.
Oito produtos e seus planos são públicos; nove são mantidos em sigilo. As comparações oficiais usam quatro compilações por produto e modelo, com o mesmo ambiente de agente baseado em OpenHands e esforço de raciocínio médio. Um único ambiente compartilhado facilita a comparação, mas um modelo otimizado para outra configuração pode ter desempenho diferente (repositório público).
Resultados: passar em todos os testes é mais difícil do que passar na maioria
A Replit divulga estes resultados oficiais da Fireworks para os 17 produtos. Pass@1 aqui significa a parcela de compilações que passaram em todos os planos de teste, em média de quatro compilações por produto.
| Modelo | Pass@1 da compilação completa | Custo aproximado por compilação |
|---|---|---|
| GPT-6.1 Sol | 65% | US$ 12 |
| GPT-6 Astra | 60% | US$ 90 |
| Claude Opus 5.5 | 49% | Não informado no texto da Replit |
Fonte: relatório ViBench 2.0 da Replit, 28 de outubro de 2026. Esses custos descrevem as execuções do benchmark, não o preço de criar um aplicativo de produção nem de uma assinatura.
Os três modelos passaram em mais de 90% dos planos de teste individuais. Essa é uma medida diferente de passar em todos os planos de uma compilação: um aplicativo pode fazer a maior parte das coisas corretamente e ainda assim falhar na pontuação da compilação completa porque uma interação importante quebra.
O DeepSeek V4.1 Flash passou em 77% dos planos individuais por cerca de US$ 2,50 por compilação. A Replit informa que nenhum modelo de pesos abertos na comparação oficial passou em uma compilação completa. A taxa de 77% por plano não deve ser comparada diretamente com os percentuais de pass@1 da compilação completa acima.
Onde as compilações quebram
Os exemplos da Replit incluem um rascunho de pull request que não exibe um conflito de mesclagem, um editor de documentos que não consegue comentar o texto dentro de uma célula de tabela e uma ação de desfazer que reverte a alteração de um colaborador. Quase três quartos das compilações com falha dos principais modelos falharam apenas nas interseções entre funções, segundo a Replit (relatório).
Essa é uma distinção útil para quem usa um agente para construir um produto. Cada função pode parecer funcionar isoladamente enquanto o fluxo combinado falha. Uma interface bonita também não demonstra que permissões, dados salvos ou edições simultâneas estão corretos. O ViBench não avalia o design visual.
Uma comparação separada usa apenas oito produtos
A Replit também comparou gerações de GPT nos oito produtos públicos. Ela informa um pass@1 da compilação completa de 31% para o GPT-6 Sol, 53% para o GPT-6.1 Sol e 47% para o GPT-6.1 Terra. A Replit executou os modelos GPT anteriores separadamente, enquanto o resultado do 6.1 Sol veio das execuções oficiais da Fireworks (Replit).
Esses números usam um subconjunto diferente do da tabela de 17 produtos. Por exemplo, 53% para o GPT-6.1 Sol no subconjunto público e 65% em todos os produtos não são contraditórios, mas não devem ser tratados como a mesma medição.
Qual é a confiabilidade da avaliação?
Um agente avaliador que usa o Claude Opus 5.5 avalia as compilações, portanto erros de pontuação continuam possíveis. A Replit afirma que um segundo modelo confirmou 99,2% de uma amostra de 477 planos aprovados; o repositório público observa que um avaliador ainda pode aprovar um plano que deveria falhar. Uma descrição detalhada da metodologia ainda estava por vir quando a Replit publicou seu relatório (Replit; repositório público).
O teste também usa um único ambiente, configurações específicas de modelo e um conjunto finito de produtos. Ele não estabelece segurança em produção, escalabilidade, manutenibilidade, conformidade legal nem desempenho com usuários reais. O interesse comercial da Replit e o papel da Fireworks como sua parceira são relevantes ao interpretar o relatório.
Nossa avaliação
O ViBench 2.0 faz uma pergunta mais realista do que se um agente consegue produzir uma primeira tela atraente: ele consegue adicionar funções sem quebrar o que veio antes? Seus resultados sugerem que os principais modelos conseguem concluir boa parte do trabalho de teste, enquanto as últimas falhas ainda podem importar para um usuário.
Em um projeto real, use um agente para avançar rápido, mas defina critérios de aceitação, teste as interações entre funções, inspecione o comportamento do banco de dados e revise a segurança antes do lançamento. A pontuação de um benchmark pode ajudar a escolher um ponto de partida; seus próprios testes determinam se o resultado está pronto.
Fontes
- Replit, relatório ViBench 2.0, 28 de outubro de 2026
- Repositório público do ViBench e limitações da avaliação, consultado em 29 de outubro de 2026
Encontrou um erro neste artigo? Avise-nos · Nossa política de correções
