模型库　›　基准测试在测什么

基准测试在测什么

发布会上的跑分，每一个都有出题方式和已知毛病：有的测试用例本身有缺陷，有的题早被训练数据见过，有的参考答案约三成和文献矛盾。先看懂它测什么，再看分数。

14个常见基准36条已知毛病6个领域2026-09-14数据截至

每个基准有几条已知毛病

出自官方论文、官方仓库与第三方核查；条数多不代表更差，只代表被研究得更透

官方论文、官方仓库与第三方核查 · 2026-09-14

2 个

SWE-bench Verified在真实 GitHub 仓库里，按一条 issue 写出能通过测试的补丁怎么出题、有什么毛病↗

LiveCodeBench写代码、自我修复、预测代码执行结果和测试输出怎么出题、有什么毛病↗

SWE-bench Verified：4 条已知毛病；LiveCodeBench：2 条已知毛病 · 2026-09-14

3 个

Terminal-Bench智能体在真实命令行终端里完成任务，覆盖软件工程、安全、科学计算等 16 类怎么出题、有什么毛病↗

τ-bench / τ²-bench在模拟的电商、航空、零售客服里，边守企业规则、边调工具、边和「用户」多轮对话把事办完怎么出题、有什么毛病↗

GAIA通用助手串联搜索、读文件、看图听音、调工具完成真实任务怎么出题、有什么毛病↗

Terminal-Bench：3 条已知毛病；τ-bench / τ²-bench：3 条已知毛病；GAIA：2 条已知毛病 · 2026-09-14

4 个

GPQA Diamond研究生水平的生物、物理、化学题，设计成上网搜不到答案怎么出题、有什么毛病↗

MMLU-Pro横跨学科的知识与推理，是 MMLU 的加强版怎么出题、有什么毛病↗

HLE（Humanity's Last Exam）多学科前沿难题，专为应对 MMLU 类基准被考满分而设计怎么出题、有什么毛病↗

ARC-AGI（1 / 2）从几个示例里归纳出隐藏规则，再用到没见过的彩色方格上，刻意避开靠记忆能解的题怎么出题、有什么毛病↗

GPQA Diamond：3 条已知毛病；MMLU-Pro：2 条已知毛病；HLE（Humanity's Last Exam）：3 条已知毛病；ARC-AGI（1 / 2）：3 条已知毛病 · 2026-09-14

1 个

AIME美国数学邀请赛原题，答案是 0 到 999 的整数怎么出题、有什么毛病↗

AIME：3 条已知毛病 · 2026-09-14

1 个

竞技场类盲测真人给两个匿名模型的回答投票，衡量人更喜欢哪个，不是客观正确率怎么出题、有什么毛病↗

竞技场类盲测：3 条已知毛病 · 2026-09-14

3 个

C-Eval中文语境下的多学科知识与推理，分中学、高中、大学、专业四档怎么出题、有什么毛病↗

CMMLU中文知识理解，专门覆盖中国特有的知识，比如驾驶规则、饮食文化、教师资格怎么出题、有什么毛病↗

SuperCLUE中文大模型综合能力：语言理解与生成、专业知识、智能体、安全四个维度怎么出题、有什么毛病↗

C-Eval：2 条已知毛病；CMMLU：1 条已知毛病；SuperCLUE：2 条已知毛病 · 2026-09-14

看到「某模型刷新某基准」时，先问三件事：这个基准测的是不是您的那类活、题目会不会早被见过、官方报的是单次成绩还是稳定成绩。

各模型的分数见模型主榜；按您的任务筛模型，用任务选型。