基准测试在测什么 › GPQA Diamond
GPQA Diamond
研究生水平的生物、物理、化学题，设计成上网搜不到答案。
知识与推理领域198道题3条已知毛病2026-09-14数据截至
01
分数高对您意味着什么
本站根据出题方式和已知毛病解读
分高说明能答刁钻的学科理论题，不代表能回答需要最新信息或您行业实操的问题。
02
怎么出题、怎么打分
出自官方论文与官方仓库
- 题目怎么来
- 博士或在读博士出题，主集 448 道；Diamond 只留「两位专家都对、多数非专家答错」的 198 道
- 怎么打分
- 多选题自动判分
03
已知毛病
官方自陈与第三方核查
- 人类基线：高技能非专家可以上网、平均花 30 分钟，只答对 34%；对口博士答对 65%
- 只有 198 题，单题错判对总分影响大
- 只覆盖生物、物理、化学三科
同领域还可以对照看：MMLU-Pro、HLE（Humanity's Last Exam）、ARC-AGI（1 / 2）。
04
来源清单
2 条
逐条摊开，每条附原文链接⌄
官方论文、仓库与第三方核查 · 2 条