Modelli
Gli agenti di IA possono costruire un'intera app? ViBench 2.0 di Replit li mette alla prova
ViBench 2.0 di Replit verifica se gli agenti di IA sanno costruire prodotti funzionalità dopo funzionalità. Esaminiamo punteggi, costi, errori e limiti.
Un agente di IA può creare in pochi minuti una demo convincente di un'app. Mantenerla funzionante man mano che si aggiungono nuove funzionalità è una sfida più difficile. Il nuovo ViBench 2.0 di Replit mette alla prova proprio questo problema, chiedendo agli agenti di costruire prodotti partendo da un progetto vuoto, poi di estendere il proprio codice funzionalità dopo funzionalità.
Pubblicato il 28 ottobre, il benchmark copre 17 prodotti, 241 richieste di funzionalità e 544 piani di test. Nelle esecuzioni ufficiali riportate da Replit, i tre modelli migliori hanno superato tutti i piani di test dal 49% al 65% delle build. La maggior parte dei singoli piani è stata superata, ma le interazioni tra le funzionalità sono rimaste una fonte frequente di errori (Replit).
Sono risultati di un benchmark creato da Replit, un'azienda che vende anche strumenti di sviluppo con IA. Il suo partner Fireworks ha eseguito i confronti ufficiali. Sono elementi utili su questo test in particolare, non la garanzia che un modello costruirà con successo il vostro prodotto.
Come funziona ViBench 2.0
Un agente parte da una breve specifica e da un progetto vuoto. Costruisce una prima versione, poi aggiunge fino a 18 funzionalità senza conoscere in anticipo l'intera sequenza. Dopo l'ultima funzionalità, un agente di valutazione distinto esegue i piani di test in un vero browser, cliccando e digitando come farebbe un utente (Replit).
I prodotti imitano categorie come la modifica di documenti, l'hosting di codice e il trasporto con conducente. I test verificano dettagli come l'avvio corretto di un database vuoto, se un aggiornamento sovrascrive il lavoro di un altro utente o se una tariffa divisa torna nei conti.
Otto prodotti e i loro piani sono pubblici; nove sono tenuti riservati. I confronti ufficiali usano quattro build per prodotto e modello, con lo stesso harness di agente basato su OpenHands e uno sforzo di ragionamento medio. Un harness condiviso aiuta il confronto, ma un modello ottimizzato per un'altra configurazione potrebbe comportarsi diversamente (repository pubblico).
Risultati: superare tutti i test è più difficile che superarne la maggior parte
Replit riporta questi risultati ufficiali di Fireworks sui 17 prodotti. Pass@1 indica qui la quota di build che hanno superato tutti i piani di test, in media su quattro build per prodotto.
| Modello | Pass@1 sulla build completa | Costo approssimativo per build |
|---|---|---|
| GPT-6.1 Sol | 65% | 12 $ |
| GPT-6 Astra | 60% | 90 $ |
| Claude Opus 5.5 | 49% | Non indicato nel testo di Replit |
Fonte: rapporto ViBench 2.0 di Replit, 28 ottobre 2026. Questi costi descrivono le esecuzioni del benchmark, non il prezzo per costruire un'app di produzione né un abbonamento.
Tutti e tre i modelli hanno superato oltre il 90% dei singoli piani di test. È una misura diversa dal superare tutti i piani di una build: un'applicazione può fare correttamente la maggior parte delle cose e fallire comunque il punteggio sulla build completa perché si rompe un'interazione importante.
DeepSeek V4.1 Flash ha superato il 77% dei singoli piani a circa 2,50 $ per build. Replit riporta che nessun modello a pesi aperti nel confronto ufficiale ha superato una build completa. Il tasso del 77% sui piani non va confrontato direttamente con le percentuali di pass@1 sulla build completa indicate sopra.
Dove si rompono le build
Gli esempi di Replit comprendono una pull request in bozza che non mostra un conflitto di merge, un editor di documenti che non permette di commentare il testo dentro una cella di tabella e un'azione di annullamento che annulla la modifica di un collaboratore. Quasi tre quarti delle build fallite dei modelli migliori sono fallite solo nei punti di intersezione tra le funzionalità, secondo Replit (rapporto).
È una distinzione utile per chi usa un agente per costruire un prodotto. Ogni funzionalità può sembrare funzionare da sola mentre il flusso complessivo fallisce. Un'interfaccia gradevole non dimostra nemmeno che autorizzazioni, dati salvati o modifiche concorrenti siano corretti. ViBench non valuta il design visivo.
Un confronto separato usa solo otto prodotti
Replit ha anche confrontato le generazioni di GPT sugli otto prodotti pubblici. Riporta un pass@1 sulla build completa del 31% per GPT-6 Sol, del 53% per GPT-6.1 Sol e del 47% per GPT-6.1 Terra. Replit ha eseguito separatamente i modelli GPT precedenti, mentre il risultato di 6.1 Sol proviene dalle esecuzioni ufficiali di Fireworks (Replit).
Questi numeri usano un sottoinsieme diverso dalla tabella dei 17 prodotti. Per esempio, il 53% di GPT-6.1 Sol sul sottoinsieme pubblico e il 65% su tutti i prodotti non sono in contraddizione, ma non vanno trattati come la stessa misurazione.
Quanto è affidabile la valutazione?
Le build sono valutate da un agente che usa Claude Opus 5.5, quindi errori di punteggio restano possibili. Replit afferma che un secondo modello ha confermato il 99,2% di un campione di 477 piani superati; il repository pubblico osserva che un valutatore può comunque far passare un piano che dovrebbe fallire. Al momento della pubblicazione del rapporto da parte di Replit, una descrizione dettagliata della metodologia era ancora attesa (Replit; repository pubblico).
Il test usa inoltre un solo harness, impostazioni specifiche dei modelli e un insieme finito di prodotti. Non stabilisce sicurezza in produzione, scalabilità, manutenibilità, conformità legale né prestazioni con utenti reali. L'interesse commerciale di Replit e il ruolo di Fireworks come suo partner sono elementi rilevanti per interpretare il rapporto.
Il nostro punto di vista
ViBench 2.0 pone una domanda più realistica di quella se un agente sappia produrre una prima schermata attraente: sa aggiungere funzionalità senza rompere ciò che c'era prima? I suoi risultati suggeriscono che i modelli migliori riescono a completare gran parte del lavoro di test, mentre gli ultimi errori possono comunque contare per un utente.
Per un progetto reale, usate un agente per andare veloci, ma definite criteri di accettazione, testate le interazioni tra funzionalità, ispezionate il comportamento del database e rivedete la sicurezza prima del rilascio. Un punteggio di benchmark può aiutare a scegliere un punto di partenza; i vostri test stabiliscono se il risultato è pronto.
Fonti
- Replit, rapporto ViBench 2.0, 28 ottobre 2026
- Repository pubblico di ViBench e limiti della valutazione, verificato il 29 ottobre 2026
Avete notato un errore in questo articolo? Segnalatelo · La nostra politica sulle correzioni
