基准测试在测什么 › SWE-bench Verified
SWE-bench Verified
在真实 GitHub 仓库里，按一条 issue 写出能通过测试的补丁。
编程领域500道题4条已知毛病2026-09-14数据截至
01
分数高对您意味着什么
本站根据出题方式和已知毛病解读
它测的是改开源仓库里一个已知 bug，不等于能处理您公司私有代码里的历史包袱和没写文档的依赖。
02
怎么出题、怎么打分
出自官方论文与官方仓库
- 题目怎么来
- 原始 SWE-bench 的人工复核子集：93 名工程师逐条标注题目是否可解、测试是否合理，筛出 500 道
- 怎么打分
- 把补丁打进仓库对应版本，跑仓库自带的单元测试，全过算解决，没有人工评审
03
已知毛病
官方自陈与第三方核查
- 测试用例本身有缺陷：抽查模型常答错的题，至少 59.4% 的测试会把功能正确的补丁判成失败
- 解法泄漏：32.67% 的「成功」补丁，解法直接写在 issue 或评论里
- 题目全来自公开仓库，预训练语料很可能见过
- OpenAI 自己说明它只覆盖软件工程能力里的一小段，已不再用它衡量前沿编程能力
同领域还可以对照看：LiveCodeBench。
04
来源清单
4 条