基准测试在测什么 › HLE（Humanity's Last Exam）
HLE（Humanity's Last Exam）
多学科前沿难题，专为应对 MMLU 类基准被考满分而设计。
知识与推理领域2,500道题3条已知毛病2026-09-14数据截至
01
分数高对您意味着什么
本站根据出题方式和已知毛病解读
分数差距里有一部分来自题库标注质量，不宜当作「模型知识可靠」的证明。
02
怎么出题、怎么打分
出自官方论文与官方仓库
- 题目怎么来
- 50 多个国家、500 多所机构的近千名专家出题，共 2500 道，要求答案明确、搜不到
- 怎么打分
- 选择题和简答题都做成可自动判分的格式；是否有额外人工复核官方未说明
03
已知毛病
官方自陈与第三方核查
- 第三方机构核查化学、生物子集：53.3% 的参考答案依据与已发表文献矛盾，综合估计约 30% 的官方答案直接冲突
- 收题标准是「前沿模型答错才收」，每题人工复核上限只有 5 分钟，容易把答案本身有错的题收进来
- 已有修订版 HLE-Verified，和原版分数对照时要看清用的是哪版
同领域还可以对照看：GPQA Diamond、MMLU-Pro、ARC-AGI（1 / 2）。
04
来源清单
3 条