基准测试在测什么 › ARC-AGI（1 / 2）
ARC-AGI（1 / 2）
从几个示例里归纳出隐藏规则，再用到没见过的彩色方格上，刻意避开靠记忆能解的题。
知识与推理领域1,000道题3条已知毛病2026-09-14数据截至
01
分数高对您意味着什么
本站根据出题方式和已知毛病解读
分高说明举一反三的抽象归纳在进步，和记住您行业的专业知识无关。
02
怎么出题、怎么打分
出自官方论文与官方仓库
- 题目怎么来
- ARC-AGI-1 共 1000 道，分公开训练、公开评估、半私有、私有四组；ARC-AGI-2 专门抵抗暴力枚举
- 怎么打分
- 输出方格与标准答案完全一致才算对；私有评估集不公开
03
已知毛病
官方自陈与第三方核查
- 公开评估集整体比私有集容易，只报公开集的分数可能偏高
- 有「对着测试硬训」的行业质疑，这也是官方设私有集的原因
- 不测知识面和专业能力
同领域还可以对照看：GPQA Diamond、MMLU-Pro、HLE（Humanity's Last Exam）。
04
来源清单
2 条
逐条摊开，每条附原文链接⌄
官方论文、仓库与第三方核查 · 2 条