基准测试在测什么 › LiveCodeBench
LiveCodeBench
写代码、自我修复、预测代码执行结果和测试输出。
编程领域600道题2条已知毛病2026-09-14数据截至
01
分数高对您意味着什么
本站根据出题方式和已知毛病解读
分高说明擅长算法题式的独立编程，不代表胜任「读懂旧系统再改」的真实开发。
02
怎么出题、怎么打分
出自官方论文与官方仓库
- 题目怎么来
- 持续从 LeetCode、AtCoder、Codeforces 抓新题并按发布时间打标签；首版收录 2023 年 5 月到 2024 年 8 月的 600 余道
- 怎么打分
- 自动跑测试用例判断是否通过
03
已知毛病
官方自陈与第三方核查
- 设计上专门对抗训练数据污染：只用模型训练截止日之后的题，并借此发现多个主流模型有污染痕迹
- 题目偏竞赛算法，和改大型代码库、跨文件依赖不是一种能力
同领域还可以对照看：SWE-bench Verified。
04
来源清单
1 条
逐条摊开，每条附原文链接⌄
官方论文、仓库与第三方核查 · 1 条