基准测试在测什么 › CMMLU

CMMLU

中文知识理解,专门覆盖中国特有的知识,比如驾驶规则、饮食文化、教师资格。

中文领域11,500道题1条已知毛病2026-09-14数据截至
01

分数高对您意味着什么

本站根据出题方式和已知毛病解读

分高说明懂中国本地常识,用在国内业务场景前仍要拿您的真实任务试。

本站解读 · 2026-09-14
02

怎么出题、怎么打分

出自官方论文与官方仓库

题目怎么来
67 个学科,约 11,500 道多选题
怎么打分
多选题自动判分
官方论文与仓库 · 2026-09-14
03

已知毛病

官方自陈与第三方核查

  • 和 C-Eval 相同:选择题形式、发布较早,有污染风险,官方未专门说明
出处见来源清单 · 2026-09-14

同领域还可以对照看:C-Eval、SuperCLUE。

04

来源清单

1 条

逐条摊开,每条附原文链接⌄

官方论文、仓库与第三方核查 · 1 条

您该怎么办

别拿单个基准的分数直接选模型。挑两三个候选,用您自己的真实任务各跑几次,看稳定性和返工量。

全部基准见基准测试在测什么;各模型分数见模型主榜。