Modèles
Une IA peut-elle construire une application complète ? Le test ViBench 2.0 de Replit
ViBench 2.0 teste la création d'applications par des agents IA, fonctionnalité après fonctionnalité. Résultats, coûts, échecs et limites.
Un agent IA peut créer rapidement une démonstration d'application convaincante. Garder cette application fonctionnelle à mesure que de nouvelles fonctions s'ajoutent est un défi plus difficile. Avec ViBench 2.0, Replit teste ce problème en demandant à des agents de partir d'un projet vide, puis de faire évoluer leur propre code.
Publié le 28 octobre, le benchmark comprend 17 produits, 241 demandes de fonctionnalités et 544 plans de test. Dans les essais officiels rapportés par Replit, les trois modèles de tête réussissent tous les plans de test dans 49 % à 65 % des applications générées. La majorité des plans individuels passent, mais les interactions entre fonctionnalités restent une source fréquente d'échec (Replit).
Ce benchmark a été créé par Replit, une entreprise qui vend aussi des outils de développement par IA. Son partenaire Fireworks a réalisé les comparaisons officielles. Les résultats éclairent ce test précis ; ils ne garantissent pas qu'un modèle construira votre produit avec succès.
Comment fonctionne ViBench 2.0 ?
L'agent reçoit une courte description et commence avec un projet vide. Il construit une première version, puis ajoute jusqu'à 18 fonctionnalités sans connaître à l'avance toute la séquence. Après la dernière étape, un autre agent exécute les plans de test dans un vrai navigateur, en cliquant et en saisissant du texte comme un utilisateur (Replit).
Les produits imitent notamment des catégories comme l'édition de documents, l'hébergement de code et les services de transport. Les tests vérifient par exemple le démarrage sur une base de données vide, la conservation du travail d'un autre utilisateur ou le calcul exact d'un partage de trajet.
Huit produits et leurs tests sont publics ; neuf restent cachés. Les essais officiels réalisent quatre constructions par produit et par modèle, avec le même environnement d'agent fondé sur OpenHands et un effort de raisonnement moyen. Cette base commune facilite la comparaison, mais un modèle optimisé pour un autre environnement pourrait obtenir un résultat différent (dépôt public).
Résultats : réussir tous les tests est plus difficile que réussir la plupart
Voici les résultats officiels Fireworks rapportés par Replit sur les 17 produits. Le pass@1 désigne ici la proportion de constructions réussissant tous les plans de test, en moyenne sur quatre constructions par produit.
| Modèle | Pass@1 de l'application complète | Coût approximatif par construction |
|---|---|---|
| GPT-6.1 Sol | 65 % | 12 $ |
| GPT-6 Astra | 60 % | 90 $ |
| Claude Opus 5.5 | 49 % | Non précisé dans le texte de Replit |
Source : rapport ViBench 2.0 de Replit, 28 octobre 2026. Ces coûts concernent les essais du benchmark, pas le prix d'une application de production ni d'un abonnement.
Les trois modèles passent plus de 90 % des plans individuels. Ce n'est pas la même mesure que la réussite de tous les plans d'une construction : une application peut faire correctement beaucoup de choses et échouer au score complet parce qu'une interaction importante ne fonctionne pas.
DeepSeek V4.1 Flash réussit 77 % des plans individuels pour environ 2,50 $ par construction. Replit indique qu'aucun modèle à poids ouverts de la comparaison officielle ne réussit une construction complète. Il ne faut pas comparer directement ce taux de 77 % aux pourcentages de réussite complète du tableau.
Là où les applications échouent
Replit cite une pull request qui n'affiche pas son conflit de fusion, un éditeur de documents incapable de commenter un mot dans un tableau, ou encore une action « annuler » qui efface la modification d'un collaborateur. Selon Replit, près des trois quarts des constructions échouées des modèles de tête ne ratent que des tests portant sur les intersections entre fonctionnalités (rapport).
C'est une distinction utile pour créer un produit avec un agent : chaque fonction peut sembler correcte isolément, alors que leur combinaison échoue. Une belle interface ne démontre pas non plus que les permissions, les données enregistrées ou les modifications simultanées fonctionnent. ViBench n'évalue pas le design visuel.
Une autre comparaison porte sur huit produits seulement
Replit compare aussi les générations GPT sur les huit produits publics. L'entreprise indique un pass@1 complet de 31 % pour GPT-6 Sol, 53 % pour GPT-6.1 Sol et 47 % pour GPT-6.1 Terra. Replit a réalisé séparément les essais des anciens modèles GPT ; le résultat de 6.1 Sol provient des essais officiels de Fireworks (Replit).
Ces chiffres portent sur un sous-ensemble différent du tableau à 17 produits. Ainsi, 53 % pour GPT-6.1 Sol sur les produits publics et 65 % sur l'ensemble ne sont pas contradictoires, mais ne représentent pas la même mesure.
La notation est-elle fiable ?
Un agent utilisant Claude Opus 5.5 évalue les applications ; des erreurs de notation restent donc possibles. Replit indique qu'un second modèle a confirmé 99,2 % d'un échantillon de 477 plans jugés réussis. Le dépôt public précise qu'un évaluateur peut toujours valider à tort un plan qui devrait échouer. Une présentation méthodologique détaillée était encore attendue lors de la publication (Replit ; dépôt public).
Le test utilise aussi un seul environnement d'agent, des réglages précis et un nombre limité de produits. Il ne démontre pas la sécurité, la capacité de montée en charge, la maintenabilité ou la conformité d'une application en production. L'intérêt commercial de Replit et le rôle de partenaire de Fireworks comptent également dans l'interprétation.
Notre lecture
ViBench 2.0 pose une question plus proche d'un vrai projet que la simple création d'un premier écran : l'agent peut-il ajouter des fonctions sans casser les précédentes ? Les résultats suggèrent que les meilleurs modèles réussissent une grande partie du travail, mais que les derniers échecs peuvent encore toucher directement les utilisateurs.
Pour un projet réel, un agent peut accélérer le développement ; il faut néanmoins définir des critères d'acceptation, tester les interactions entre fonctions, vérifier la base de données et examiner la sécurité avant publication. Un score aide à choisir un point de départ ; vos propres tests déterminent si le résultat est prêt.
Sources
- Replit, rapport ViBench 2.0, 28 octobre 2026
- Dépôt public ViBench et limites de l'évaluation, consulté le 29 octobre 2026
Une erreur dans cet article ? Signalez-la · Notre politique de corrections
