Modelos
¿Pueden los agentes de IA crear una aplicación completa? Replit los pone a prueba con ViBench 2.0
ViBench 2.0 de Replit evalúa si los agentes de IA pueden crear productos función por función. Analizamos resultados, costes y límites.
Un agente de IA puede crear una demostración convincente en minutos. Mantenerla funcionando a medida que se añaden funciones es más difícil. ViBench 2.0, el nuevo benchmark de Replit, plantea ese reto: los agentes construyen productos desde un proyecto vacío y amplían su propio código función por función.
Publicado el 28 de octubre, el benchmark incluye 17 productos, 241 solicitudes de funciones y 544 planes de prueba. En las ejecuciones oficiales comunicadas por Replit, los tres modelos principales superaron todos los planes de prueba en entre el 49 % y el 65 % de las aplicaciones creadas. Aunque aprobaron la mayoría de los planes individuales, las interacciones entre funciones siguieron causando fallos (Replit).
Replit ha creado el benchmark y también vende herramientas de desarrollo con IA. Su socio Fireworks ejecutó las comparaciones oficiales. Los resultados aportan información sobre esta prueba concreta, pero no garantizan que un modelo vaya a crear correctamente su producto.
Cómo funciona ViBench 2.0
El agente recibe una breve especificación y un proyecto vacío. Crea una primera versión y añade hasta 18 funciones sin conocer toda la secuencia de antemano. Tras la última función, un agente evaluador independiente ejecuta los planes de prueba en un navegador real, haciendo clic y escribiendo como un usuario (Replit).
Los productos imitan categorías como edición de documentos, alojamiento de código y transporte bajo demanda. Las pruebas comprueban, por ejemplo, si una base de datos nueva arranca, si una actualización sobrescribe el trabajo de otro usuario o si un reparto de tarifa suma correctamente.
Ocho productos y sus planes son públicos; nueve se mantienen reservados. Las comparaciones oficiales usan cuatro ejecuciones por producto y modelo, con el mismo entorno de agente basado en OpenHands y un esfuerzo de razonamiento medio. Compartir el entorno facilita la comparación, aunque un modelo optimizado para otra configuración podría rendir de otra manera (repositorio público).
Resultados: superar todas las pruebas es más difícil
Replit comunica los siguientes resultados oficiales de Fireworks para los 17 productos. Aquí, pass@1 de la aplicación completa es la proporción de aplicaciones que superaron todos los planes de prueba, promediada entre cuatro ejecuciones por producto.
| Modelo | Pass@1 de la aplicación completa | Coste aproximado por aplicación |
|---|---|---|
| GPT-6.1 Sol | 65 % | 12 dólares |
| GPT-6 Astra | 60 % | 90 dólares |
| Claude Opus 5.5 | 49 % | No indicado en el texto de Replit |
Fuente: informe ViBench 2.0 de Replit, 28 de octubre de 2026. Estos costes corresponden a las pruebas, no al precio de desarrollar una aplicación de producción ni al de una suscripción.
Los tres modelos superaron más del 90 % de los planes individuales. Esa medida es distinta de superar todos los planes de una aplicación: un producto puede hacer correctamente casi todo y aun así fallar la evaluación completa por una interacción importante.
DeepSeek V4.1 Flash superó el 77 % de los planes individuales con un coste aproximado de 2,50 dólares por aplicación. Replit señala que ningún modelo de pesos abiertos de la comparación oficial completó una aplicación sin fallos. No se debe comparar directamente ese 77 % con los porcentajes de pass@1 de la tabla.
Dónde fallan las aplicaciones
Entre los ejemplos de Replit hay un borrador de pull request que no muestra un conflicto de fusión, un editor que no permite comentar texto en una celda y una función de deshacer que revierte un cambio de otro colaborador. Según Replit, casi tres cuartas partes de las aplicaciones fallidas de los modelos principales fallaron únicamente en las interacciones entre funciones (informe).
Cada función puede parecer correcta por separado mientras el flujo conjunto falla. Una interfaz atractiva tampoco demuestra que los permisos, los datos guardados o la edición simultánea funcionen correctamente. ViBench no evalúa el diseño visual.
Otra comparación utiliza solo ocho productos
Replit también comparó generaciones de GPT en los ocho productos públicos. Comunica un pass@1 de aplicación completa del 31 % para GPT-6 Sol, del 53 % para GPT-6.1 Sol y del 47 % para GPT-6.1 Terra. Replit ejecutó los modelos GPT anteriores por separado, mientras que el resultado de 6.1 Sol procedía de las ejecuciones oficiales de Fireworks (Replit).
Estas cifras utilizan un subconjunto diferente al de la tabla de 17 productos. Por ejemplo, el 53 % de GPT-6.1 Sol en el subconjunto público y el 65 % en todos los productos no son contradictorios, pero tampoco representan la misma medición.
¿Qué fiabilidad tiene la evaluación?
Un agente evaluador basado en Claude Opus 5.5 califica las aplicaciones, por lo que pueden producirse errores. Replit afirma que un segundo modelo confirmó el 99,2 % de una muestra de 477 planes aprobados; el repositorio público advierte de que un evaluador todavía puede aprobar un plan que debería fallar. Cuando se publicó el informe, la explicación detallada de la metodología aún estaba pendiente (Replit; repositorio).
La prueba utiliza además un único entorno, configuraciones concretas y un conjunto limitado de productos. No demuestra la seguridad, escalabilidad, mantenibilidad, conformidad legal ni rendimiento de una aplicación de producción con usuarios reales. El interés comercial de Replit y el papel de Fireworks como socio también deben tenerse en cuenta.
Nuestra opinión
ViBench 2.0 plantea una pregunta más realista que si un agente puede crear una primera pantalla atractiva: ¿puede añadir funciones sin romper lo anterior? Los resultados sugieren que los modelos principales completan gran parte del trabajo, aunque los últimos fallos pueden seguir siendo importantes para los usuarios.
En un proyecto real, conviene usar un agente para avanzar rápido, pero definir criterios de aceptación, probar las interacciones entre funciones, inspeccionar el comportamiento de la base de datos y revisar la seguridad antes de publicar. Una puntuación de benchmark puede ayudar a elegir un punto de partida; sus propias pruebas determinan si el resultado está listo.
Fuentes
- Replit: informe ViBench 2.0, 28 de octubre de 2026.
- Repositorio público de ViBench y límites de la evaluación, consultado el 29 de octubre de 2026.
¿Ha detectado un error en este artículo? Comuníquenoslo · Nuestra política de correcciones
