Modelle
Können KI-Agenten eine ganze App bauen? ViBench 2.0 von Replit stellt sie auf die Probe
ViBench 2.0 von Replit testet, ob KI-Agenten Produkte Funktion für Funktion bauen können. Wir untersuchen Scores, Kosten, Fehler und Grenzen.
Ein KI-Agent kann in Minuten eine überzeugende App-Demo erstellen. Diese App am Laufen zu halten, während neue Funktionen hinzukommen, ist die schwierigere Herausforderung. Das neue ViBench 2.0 von Replit testet genau dieses Problem: Agenten sollen Produkte aus einem leeren Projekt heraus bauen und ihren eigenen Code dann Funktion für Funktion erweitern.
Der am 28. Oktober veröffentlichte Benchmark umfasst 17 Produkte, 241 Funktionsanforderungen und 544 Testpläne. In den von Replit berichteten offiziellen Durchläufen bestanden die drei führenden Modelle in 49 % bis 65 % der Builds sämtliche Testpläne. Die meisten einzelnen Pläne wurden bestanden, aber Wechselwirkungen zwischen Funktionen blieben eine häufige Fehlerquelle (Replit).
Das sind Ergebnisse eines von Replit erstellten Benchmarks, einem Unternehmen, das auch KI-Entwicklungstools verkauft. Sein Partner Fireworks hat die offiziellen Vergleiche durchgeführt. Sie sind ein nützlicher Beleg für diesen speziellen Test, aber keine Garantie, dass ein Modell Ihr Produkt erfolgreich baut.
So funktioniert ViBench 2.0
Ein Agent beginnt mit einer kurzen Spezifikation und einem leeren Projekt. Er baut eine erste Version und fügt dann bis zu 18 Funktionen hinzu, ohne die vollständige Abfolge vorab zu kennen. Nach der letzten Funktion führt ein separater Bewertungsagent die Testpläne in einem echten Browser aus und klickt und tippt dabei wie ein Nutzer (Replit).
Die Produkte ahmen Kategorien wie Dokumentbearbeitung, Code-Hosting und Fahrdienstvermittlung nach. Die Tests prüfen Details wie: Startet eine frische Datenbank korrekt? Überschreibt ein Update die Arbeit eines anderen Nutzers? Geht die Rechnung bei einer geteilten Fahrt auf?
Acht Produkte und ihre Pläne sind öffentlich; neun sind zurückgehalten. Die offiziellen Vergleiche verwenden vier Builds pro Produkt und Modell, mit demselben auf OpenHands basierenden Agenten-Harness und mittlerem Reasoning-Aufwand. Ein gemeinsames Harness erleichtert den Vergleich, doch ein für ein anderes Setup optimiertes Modell kann anders abschneiden (öffentliches Repository).
Ergebnisse: Alle Tests zu bestehen ist schwerer, als die meisten zu bestehen
Replit berichtet diese offiziellen Ergebnisse von Fireworks über alle 17 Produkte. Pass@1 bezeichnet hier den Anteil der Builds, die sämtliche Testpläne bestanden haben, gemittelt über vier Builds pro Produkt.
| Modell | Pass@1 über den gesamten Build | Ungefähre Kosten pro Build |
|---|---|---|
| GPT-6.1 Sol | 65 % | 12 $ |
| GPT-6 Astra | 60 % | 90 $ |
| Claude Opus 5.5 | 49 % | Im Text von Replit nicht angegeben |
Quelle: Bericht zu ViBench 2.0 von Replit, 28. Oktober 2026. Diese Kosten beschreiben die Benchmark-Läufe, nicht den Preis für den Bau einer Produktions-App oder ein Abonnement.
Alle drei Modelle bestanden mehr als 90 % der einzelnen Testpläne. Das ist ein anderes Maß, als alle Pläne eines Builds zu bestehen: Eine Anwendung kann das meiste richtig machen und trotzdem beim Score für den gesamten Build durchfallen, weil eine wichtige Interaktion bricht.
DeepSeek V4.1 Flash bestand 77 % der einzelnen Pläne bei rund 2,50 $ pro Build. Replit berichtet, dass kein Modell mit offenen Gewichten im offiziellen Vergleich einen vollständigen Build bestanden hat. Die 77 % der Pläne dürfen nicht direkt mit den oben genannten Prozentwerten für Pass@1 über den gesamten Build verglichen werden.
Wo die Builds scheitern
Zu den Beispielen von Replit gehören ein Draft-Pull-Request, der einen Merge-Konflikt nicht anzeigt, ein Dokumenteditor, der Text in einer Tabellenzelle nicht kommentieren kann, und eine Rückgängig-Aktion, die die Änderung eines Mitarbeiters zurücknimmt. Fast drei Viertel der gescheiterten Builds der führenden Modelle scheiterten laut Replit nur an den Schnittstellen zwischen Funktionen (Bericht).
Das ist eine nützliche Unterscheidung für alle, die einen Agenten zum Bau eines Produkts einsetzen. Jede Funktion scheint für sich zu funktionieren, während der kombinierte Workflow scheitert. Eine gut aussehende Oberfläche beweist außerdem nicht, dass Berechtigungen, gespeicherte Daten oder gleichzeitige Bearbeitungen korrekt sind. ViBench bewertet das visuelle Design nicht.
Ein separater Vergleich nutzt nur acht Produkte
Replit hat außerdem GPT-Generationen anhand der acht öffentlichen Produkte verglichen. Es berichtet Pass@1 über den gesamten Build von 31 % für GPT-6 Sol, 53 % für GPT-6.1 Sol und 47 % für GPT-6.1 Terra. Replit hat die früheren GPT-Modelle separat laufen lassen, während das Ergebnis von 6.1 Sol aus den offiziellen Durchläufen von Fireworks stammt (Replit).
Diese Zahlen verwenden eine andere Teilmenge als die Tabelle mit 17 Produkten. So sind etwa 53 % für GPT-6.1 Sol auf der öffentlichen Teilmenge und 65 % über alle Produkte kein Widerspruch, sollten aber nicht als dieselbe Messung behandelt werden.
Wie verlässlich ist die Bewertung?
Ein Bewertungsagent mit Claude Opus 5.5 beurteilt die Builds, daher bleiben Bewertungsfehler möglich. Replit sagt, ein zweites Modell habe 99,2 % einer Stichprobe von 477 bestandenen Plänen bestätigt; das öffentliche Repository weist darauf hin, dass ein Grader einen Plan, der durchfallen müsste, trotzdem bestehen lassen kann. Eine ausführliche Beschreibung der Methodik stand bei der Veröffentlichung des Berichts von Replit noch aus (Replit; öffentliches Repository).
Der Test verwendet außerdem ein Harness, bestimmte Modelleinstellungen und eine endliche Zahl von Produkten. Er belegt weder Sicherheit im Produktivbetrieb noch Skalierbarkeit, Wartbarkeit, rechtliche Konformität oder Leistung unter echten Nutzern. Das kommerzielle Interesse von Replit und die Rolle von Fireworks als sein Partner sind für die Einordnung des Berichts relevant.
Unsere Einschätzung
ViBench 2.0 stellt eine realistischere Frage als die, ob ein Agent einen ansprechenden ersten Bildschirm erzeugen kann: Kann er Funktionen hinzufügen, ohne zu zerstören, was vorher funktionierte? Die Ergebnisse legen nahe, dass führende Modelle einen Großteil der Testarbeit bewältigen können, während die letzten Fehler für einen Nutzer trotzdem ins Gewicht fallen können.
Nutzen Sie bei einem echten Projekt einen Agenten, um schnell voranzukommen, aber definieren Sie Akzeptanzkriterien, testen Sie die Wechselwirkungen zwischen Funktionen, prüfen Sie das Verhalten der Datenbank und kontrollieren Sie die Sicherheit vor der Veröffentlichung. Ein Benchmark-Score kann bei der Wahl eines Ausgangspunkts helfen; Ihre eigenen Tests entscheiden, ob das Ergebnis bereit ist.
Quellen
- Replit, Bericht zu ViBench 2.0, 28. Oktober 2026
- Öffentliches ViBench-Repository und Einschränkungen der Auswertung, geprüft am 29. Oktober 2026
Einen Fehler in diesem Artikel entdeckt? Melden Sie ihn · Unsere Korrekturrichtlinie
