AIモデルのコーディングベンチマーク
ツールページとモデル比較にあるコーディングベンチマークのスコアを、テストごとにまとめました。各スコアには、記載された条件と提供元のページへのリンクを付けています。
DeepSWE v1.1
| 出典 | ||||
|---|---|---|---|---|
| Gemini 4 Argon | 77.9% | Google発表 | 出典 — Gemini 4 Argon | |
| DeepSeek V4.1-Flash-1017 | DeepSeek | 77% | DeepSeek発表、Mini-SWE-V2ハーネス | 出典 — DeepSeek V4.1-Flash-1017 |
| MiniMax M3.1 Flash | MiniMax | 73.7% | MiniMax発表 | 出典 — MiniMax M3.1 Flash |
| Grok 4.7 | xAI | 71% | 努力度は高、xAIによる発表 | 出典 — Grok 4.7 |
| Kimi K3 | Moonshot AI | 67.3% | mini-SWE-agentハーネス(DeepSWEリーダーボード)、Moonshotによる引用 | 出典 — Kimi K3 |
| GLM-5.3 | Z.ai | 66.9% | Z.aiによる発表 | 出典 — GLM-5.3 |
| GLM-5.3-Flash | Z.ai | 63.4% | Z.aiによる発表 | 出典 — GLM-5.3-Flash |
| DeepSeek V4-Pro-0813 | DeepSeek | 62.7% | DeepSeek Harness(ミニマルモード)、努力度は最大、DeepSeekによる発表 | 出典 — DeepSeek V4-Pro-0813 |
| Muse Spark Open (816B-A42B) | Meta | 60% | Meta発表、推奨ハーネス、xhigh推論 | 出典 — Muse Spark Open (816B-A42B) |
| Qwen3.8-Max | Alibaba (Qwen) | 56.6% | Claude Codeとmini-SWE-agentのうち良い方、Qwenによる発表 | 出典 — Qwen3.8-Max |
| Qwen3.8-27B | Alibaba (Qwen) | 42.2% | Claude Codeハーネス、Qwenによる発表 | 出典 — Qwen3.8-27B |
Terminal-Bench 4.0
| 出典 | ||||
|---|---|---|---|---|
| Kimi K3.1 Pro | Moonshot AI | 65.7% | Claude Codeハーネス、Moonshotによる報告 | 出典 — Kimi K3.1 Pro |
| Gemini 4 Carbon | 65.2% | Artificial Analysisのハーネス、Googleによる報告 | 出典 — Gemini 4 Carbon | |
| GPT-6.1 Terra | OpenAI | 50.3% | 推論の努力度は最大、OpenAIによる報告 | 出典 — GPT-6.1 Terra |
| Nanbeige4.3-33B | Nanbeige (BOSS Zhipin) | 23.8% | mini-swe-agent v2.4.6ハーネス、Nanbeigeによる報告 | 出典 — Nanbeige4.3-33B |