基准测试在测什么 › MMLU-Pro
MMLU-Pro
横跨学科的知识与推理，是 MMLU 的加强版。
知识与推理领域官方未说明道题2条已知毛病2026-09-14数据截至
01
分数高对您意味着什么
本站根据出题方式和已知毛病解读
分高说明知识面广、选择题判断强；选对答案和解决您的实际问题是两回事。
02
怎么出题、怎么打分
出自官方论文与官方仓库
- 题目怎么来
- 在 MMLU 上补充更难的题，选项从 4 个加到 10 个，降低蒙对概率；总题量本页未采集
- 怎么打分
- 多选题自动判分；论文测了 24 种提示词写法，排名比原版稳定
03
已知毛病
官方自陈与第三方核查
- 比原版分数整体低 16 到 33 个百分点，但本质仍是选择题，测不到开放式生成和多轮对话
- 污染检测和排除机制，官方未说明
同领域还可以对照看：GPQA Diamond、HLE（Humanity's Last Exam）、ARC-AGI（1 / 2）。
04
来源清单
1 条
逐条摊开，每条附原文链接⌄
官方论文、仓库与第三方核查 · 1 条