모델
AI 에이전트가 앱 하나를 통째로 만들 수 있을까? Replit의 ViBench 2.0이 시험하다
Replit의 ViBench 2.0은 AI 에이전트가 제품을 기능 단위로 만들어 낼 수 있는지 시험한다. 점수, 비용, 실패, 한계를 살펴본다.
AI 에이전트는 몇 분 만에 그럴듯한 앱 데모를 만들 수 있다. 하지만 기능이 추가될 때마다 그 앱이 계속 작동하게 유지하는 것은 더 어려운 과제다. Replit의 새 ViBench 2.0은 에이전트에게 빈 프로젝트에서 제품을 만들게 한 다음, 자기 코드를 기능 단위로 확장하게 하여 이 문제를 시험한다.
10월 28일 공개된 이 벤치마크는 제품 17개, 기능 요청 241건, 테스트 플랜 544개를 다룬다. Replit이 보고한 공식 실행에서 선두 모델 세 개는 빌드의 49%~65%에서 모든 테스트 플랜을 통과했다. 개별 플랜은 대부분 통과했지만, 기능 간 상호작용은 여전히 실패의 흔한 원인이었다(Replit).
이는 AI 개발 도구도 판매하는 Replit이 만든 벤치마크의 결과다. 공식 비교는 파트너인 Fireworks가 실행했다. 이 특정 테스트에 관한 유용한 증거이긴 하지만, 어떤 모델이 여러분의 제품을 성공적으로 만들어 낸다는 보장은 아니다.
ViBench 2.0의 작동 방식
에이전트는 짧은 명세와 빈 프로젝트에서 출발한다. 초기 버전을 만든 뒤, 전체 순서를 미리 알지 못한 채 최대 18개의 기능을 추가한다. 마지막 기능 이후에는 별도의 채점 에이전트가 사용자처럼 클릭하고 입력하면서 실제 브라우저에서 테스트 플랜을 실행한다(Replit).
제품은 문서 편집, 코드 호스팅, 호출형 차량 서비스 같은 범주를 모방한다. 테스트는 새 데이터베이스가 제대로 시작되는지, 업데이트가 다른 사용자의 작업을 덮어쓰지 않는지, 나눠 낸 요금의 합이 맞는지 같은 세부 사항을 점검한다.
제품 8개와 그 플랜은 공개되어 있고 9개는 비공개다. 공식 비교는 제품과 모델마다 빌드 4회를 사용하며, OpenHands 기반의 같은 에이전트 하네스와 중간 수준의 추론 노력을 쓴다. 하나의 공통 하네스는 비교에 도움이 되지만, 다른 환경에 맞춰 최적화된 모델은 결과가 다를 수 있다(공개 리포지토리).
결과: 모두 통과하기는 대부분 통과하기보다 어렵다
Replit은 제품 17개 전체에 대한 Fireworks의 공식 결과를 다음과 같이 보고한다. 여기서 Pass@1은 제품당 빌드 4회의 평균을 낸, 모든 테스트 플랜을 통과한 빌드의 비율이다.
| 모델 | 전체 빌드 pass@1 | 빌드당 대략적인 비용 |
|---|---|---|
| GPT-6.1 Sol | 65% | $12 |
| GPT-6 Astra | 60% | $90 |
| Claude Opus 5.5 | 49% | Replit의 글에 언급 없음 |
출처: Replit의 ViBench 2.0 보고서, 2026년 10월 28일. 이 비용은 벤치마크 실행에 든 비용이며, 프로덕션 앱을 만드는 데 드는 가격이나 구독료가 아니다.
세 모델 모두 개별 테스트 플랜의 90% 넘게를 통과했다. 이는 한 빌드에서 모든 플랜을 통과하는 것과는 다른 척도다. 애플리케이션이 대부분의 일을 제대로 해내더라도, 중요한 상호작용 하나가 깨지면 전체 빌드 점수에서는 실패한다.
DeepSeek V4.1 Flash는 빌드당 약 2.50달러에 개별 플랜의 77%를 통과했다. Replit은 공식 비교에 포함된 오픈 웨이트 모델 중 완전한 빌드를 통과한 모델은 없다고 보고한다. 플랜 통과율 77%를 위의 전체 빌드 pass@1 비율과 직접 비교해서는 안 된다.
빌드가 무너지는 곳
Replit이 든 사례로는 병합 충돌을 표시하지 않는 초안 풀 리퀘스트, 표 셀 안의 텍스트에는 댓글을 달 수 없는 문서 편집기, 공동 작업자의 변경을 되돌려 버리는 실행 취소가 있다. Replit에 따르면 선두 모델에서 실패한 빌드의 거의 4분의 3은 기능 사이의 교차점에서만 실패했다(보고서).
에이전트로 제품을 만드는 사람에게 유용한 구분이다. 각 기능은 따로 보면 작동하는 듯해도 결합된 작업 흐름은 실패할 수 있다. 보기 좋은 인터페이스가 권한, 저장된 데이터, 동시 편집이 올바르다는 것을 보여 주지도 않는다. ViBench는 시각 디자인을 채점하지 않는다.
제품 8개만 쓴 별도 비교
Replit은 공개 제품 8개를 대상으로 GPT 세대 간 비교도 했다. 전체 빌드 pass@1은 GPT-6 Sol이 31%, GPT-6.1 Sol이 53%, GPT-6.1 Terra가 47%라고 보고한다. 이전 GPT 모델은 Replit이 따로 실행했고, 6.1 Sol의 결과는 Fireworks의 공식 실행에서 나왔다(Replit).
이 수치는 제품 17개 표와 다른 부분집합을 쓴다. 예를 들어 공개 부분집합에서 GPT-6.1 Sol의 53%와 전체 제품에서의 65%는 모순되지 않지만, 같은 측정으로 취급해서는 안 된다.
채점은 얼마나 믿을 만한가?
Claude Opus 5.5를 쓰는 채점 에이전트가 빌드를 평가하므로 채점 오류의 가능성은 남아 있다. Replit은 통과한 플랜 477개의 표본에서 두 번째 모델이 99.2%를 확인했다고 밝혔다. 공개 리포지토리는 채점 에이전트가 실패해야 할 플랜을 통과시킬 수도 있다고 적었다. Replit이 보고서를 공개할 때 상세한 방법론 문서는 아직 나오지 않은 상태였다(Replit, 공개 리포지토리).
이 테스트는 하네스 하나, 특정 모델 설정, 한정된 제품 집합도 사용한다. 프로덕션 보안, 확장성, 유지보수성, 법규 준수, 실제 사용자 환경에서의 성능은 입증하지 못한다. 보고서를 해석할 때는 Replit의 상업적 이해관계와 Fireworks가 Replit의 파트너라는 점을 고려해야 한다.
우리의 평가
ViBench 2.0은 에이전트가 보기 좋은 첫 화면을 만들 수 있느냐보다 현실적인 질문을 던진다. 이전에 만든 것을 깨뜨리지 않고 기능을 추가할 수 있는가? 결과는 선두 모델이 테스트 작업의 상당 부분을 해낼 수 있음을 시사하지만, 마지막 몇 건의 실패가 사용자에게는 여전히 중요할 수 있다.
실제 프로젝트에서는 에이전트로 빠르게 진행하되, 출시 전에 수용 기준을 정하고, 기능 간 상호작용을 테스트하고, 데이터베이스 동작을 점검하고, 보안을 검토하자. 벤치마크 점수는 출발점을 고르는 데 도움이 될 수 있다. 결과물이 출시할 준비가 되었는지는 여러분의 테스트가 가려 준다.
출처
- Replit, ViBench 2.0 보고서, 2026년 10월 28일
- ViBench 공개 리포지토리와 평가의 한계, 2026년 10월 29일 확인
