Benchmarks de programação de modelos de IA

Todas as pontuações de benchmarks de programação presentes em nossas páginas de ferramentas e no comparativo de modelos, agrupadas por teste. Cada pontuação traz as condições indicadas e um link para a página do fornecedor.

Pontuações exibidas: 15 · benchmarks: 2

DeepSWE v1.1 (11 pontuações)

DeepSWE v1.1: pontuações informadas pelos fornecedores. Os cabeçalhos das colunas são botões de ordenação.
Fontes
Gemini 4 ArgonGoogle77,9 %anunciado pelo Googlefonte — Gemini 4 Argon
DeepSeek V4.1-Flash-1017DeepSeek77 %anunciado pela DeepSeek, harness Mini-SWE-V2fonte — DeepSeek V4.1-Flash-1017
MiniMax M3.1 FlashMiniMax73,7 %anunciado pela MiniMaxfonte — MiniMax M3.1 Flash
Grok 4.7xAI71 %esforço alto, anunciado pela xAIfonte — Grok 4.7
Kimi K3Moonshot AI67,3 %harness do mini-SWE-agent (ranking DeepSWE), citado pela Moonshotfonte — Kimi K3
GLM-5.3Z.ai66,9 %anunciado pela Z.aifonte — GLM-5.3
GLM-5.3-FlashZ.ai63,4 %anunciado pela Z.aifonte — GLM-5.3-Flash
DeepSeek V4-Pro-0813DeepSeek62,7 %DeepSeek Harness (modo mínimo), esforço máximo, anunciado pela DeepSeekfonte — DeepSeek V4-Pro-0813
Muse Spark Open (816B-A42B)Meta60 %anunciado pela Meta, harness preferido, raciocínio xhighfonte — Muse Spark Open (816B-A42B)
Qwen3.8-MaxAlibaba (Qwen)56,6 %o melhor entre Claude Code e mini-SWE-agent, anunciado pela Qwenfonte — Qwen3.8-Max
Qwen3.8-27BAlibaba (Qwen)42,2 %harness do Claude Code, anunciado pela Qwenfonte — Qwen3.8-27B

Terminal-Bench 4.0 (4 pontuações)

Terminal-Bench 4.0: pontuações informadas pelos fornecedores. Os cabeçalhos das colunas são botões de ordenação.
Fontes
Kimi K3.1 ProMoonshot AI65,7 %harness do Claude Code, informado pela Moonshotfonte — Kimi K3.1 Pro
Gemini 4 CarbonGoogle65,2 %harness da Artificial Analysis, informado pelo Googlefonte — Gemini 4 Carbon
GPT-6.1 TerraOpenAI50,3 %esforço máximo de raciocínio, informado pela OpenAIfonte — GPT-6.1 Terra
Nanbeige4.3-33BNanbeige (BOSS Zhipin)23,8 %harness do mini-swe-agent v2.4.6, informado pela Nanbeigefonte — Nanbeige4.3-33B

O que é o DeepSWE? · Metodologia