モデル
AIエージェントはアプリ全体を作れるか：ReplitのViBench 2.0で検証
ReplitのViBench 2.0は、AIエージェントが機能を一つずつ追加して製品を作れるかを検証する。スコア、コスト、失敗例、限界を検討する。
AIエージェントなら、説得力のあるアプリのデモを数分で作れる。新機能を加えながらそのアプリを動かし続けるのは、はるかに難しい課題だ。Replitの新しいViBench 2.0は、空のプロジェクトから製品を作らせ、さらに自分のコードに機能を一つずつ追加させることで、この問題を検証する。
10月28日に公開されたこのベンチマークは、17製品、241件の機能要望、544件のテスト計画で構成される。Replitが報告した公式実行では、上位3モデルが全テスト計画に合格したビルドの割合は49%から65%だった。個々のテスト計画の大半には合格したが、機能同士の相互作用が失敗の一般的な原因であり続けた(Replit)。
これはAI開発ツールも販売するReplitが作ったベンチマークの結果である。公式の比較は、同社のパートナーであるFireworksが実施した。このテストに関する有用な証拠ではあるが、特定のモデルが自分の製品をうまく作れることの保証ではない。
ViBench 2.0の仕組み
エージェントは短い仕様書と空のプロジェクトから始める。最初のバージョンを作った後、全体の順序を事前に知らされないまま、最大18の機能を追加する。最後の機能の後、別の採点エージェントが、ユーザーと同じようにクリックや入力を行いながら、実際のブラウザーでテスト計画を実行する(Replit)。
製品は、文書編集、コードホスティング、配車などのカテゴリーを模している。テストでは、新規のデータベースが正しく起動するか、更新が他のユーザーの作業を上書きしないか、割り勘の運賃が合計と合うか、といった細部を確認する。
8製品とそのテスト計画は公開されており、9製品は非公開である。公式の比較では、製品とモデルごとに4回のビルドを行い、同じOpenHandsベースのエージェントハーネスと中程度の推論強度を使う。共通のハーネスは比較に役立つが、別の環境向けに最適化されたモデルでは結果が異なる可能性がある(公開リポジトリ)。
結果：大半に合格するより、全てに合格するほうが難しい
Replitは、17製品全体でのFireworksによる公式結果を次のように報告している。ここでのPass@1は、製品ごとの4回のビルドの平均で、全テスト計画に合格したビルドの割合を指す。
| モデル | ビルド全体のPass@1 | 1ビルドあたりのおよその費用 |
|---|---|---|
| GPT-6.1 Sol | 65% | $12 |
| GPT-6 Astra | 60% | $90 |
| Claude Opus 5.5 | 49% | Replitの文中に記載なし |
出典：ReplitのViBench 2.0レポート、2026年10月28日。この費用はベンチマークの実行にかかった額であり、本番アプリの構築費用やサブスクリプション料金ではない。
3モデルとも、個々のテスト計画の90%超に合格した。これは、ビルドの全ての計画に合格することとは別の指標である。アプリケーションはほとんどの動作が正しくても、重要な相互作用が一つ壊れるだけで、ビルド全体のスコアでは不合格になる。
DeepSeek V4.1 Flashは、個々の計画の77%に合格し、費用は1ビルドあたり約2.50ドルだった。Replitによれば、公式の比較に含まれるオープンウェイトモデルで、ビルド全体に合格したものはない。個々の計画の合格率77%を、上記のビルド全体のPass@1と直接比較してはならない。
ビルドが壊れる場所
Replitが挙げる例には、マージの競合を表示しないドラフトのプルリクエスト、テーブルのセル内のテキストにコメントできない文書エディター、共同編集者の変更を取り消してしまう元に戻す操作がある。Replitによれば、上位モデルの失敗したビルドの4分の3近くは、機能同士の交点だけで失敗していた(レポート)。
エージェントで製品を作る人にとって、これは有用な区別である。個々の機能は単独で動くように見えても、組み合わせたワークフローが失敗することがある。見栄えのよいインターフェースは、権限、保存データ、同時編集が正しいことを示さない。ViBenchはビジュアルデザインを採点しない。
8製品だけを使った別の比較
Replitは、公開されている8製品でGPTの各世代も比較した。ビルド全体のPass@1は、GPT-6 Solが31%、GPT-6.1 Solが53%、GPT-6.1 Terraが47%と報告されている。以前のGPTモデルはReplitが別に実行し、6.1 Solの結果はFireworksの公式実行によるものだった(Replit)。
これらの数値は、17製品の表とは別のサブセットを使っている。例えば、公開サブセットでのGPT-6.1 Solの53%と全製品での65%は矛盾しないが、同じ測定として扱うべきではない。
採点の信頼性
ビルドの評価にはClaude Opus 5.5を使う採点エージェントが用いられるため、採点の誤りが残る可能性がある。Replitによれば、合格した477件の計画のサンプルのうち99.2%を2つ目のモデルが確認した。一方、公開リポジトリには、不合格にすべき計画を採点エージェントが合格させる場合があると記されている。詳細な方法論の解説は、Replitがレポートを公開した時点ではまだ予定されていた(Replit、公開リポジトリ)。
このテストは、単一のハーネス、特定のモデル設定、有限の製品数も使っている。本番環境でのセキュリティ、スケーラビリティ、保守性、法令遵守、実ユーザーの負荷下での性能は、これでは立証されない。レポートを解釈する際は、Replitの商業的利益と、そのパートナーであるFireworksの役割も考慮に入れる必要がある。
当サイトの見解
ViBench 2.0は、見栄えのよい最初の画面を作れるかではなく、既存の機能を壊さずに機能を追加できるかという、より現実的な問いを立てている。結果は、上位モデルがテスト作業の多くをこなせる一方で、最後の数件の失敗がユーザーにとって重大になりうることを示唆している。
実際のプロジェクトでは、エージェントを使って素早く進めつつ、受け入れ基準を定め、機能同士の相互作用をテストし、データベースの挙動を点検し、リリース前にセキュリティをレビューすることだ。ベンチマークのスコアは出発点を選ぶ助けになるが、成果物がリリースできる状態かどうかは、自分たちのテストが決める。
出典
- Replit、ViBench 2.0レポート、2026年10月28日
- ViBench公開リポジトリと評価の限界、2026年10月29日確認
