基准测试在测什么 › 竞技场类盲测
竞技场类盲测
真人给两个匿名模型的回答投票，衡量人更喜欢哪个，不是客观正确率。
偏好盲测领域官方未说明道题3条已知毛病2026-09-14数据截至
01
分数高对您意味着什么
本站根据出题方式和已知毛病解读
排名反映的是人更喜欢哪种风格和语气，数学、代码这类要精确答案的活，要另看对应基准。
02
怎么出题、怎么打分
出自官方论文与官方仓库
- 题目怎么来
- 题目来自真实用户的提问，持续滚动累积，没有固定题库
- 怎么打分
- 用 Bradley-Terry 类的成对比较模型，把大量胜负平票转成类似 Elo 的分数
03
已知毛病
官方自陈与第三方核查
- 人偏好更长、排版更花的回答，「答得漂亮」和「答得对」会混在一起；后来有了风格控制榜
- 厂商可以私下测多个版本、只公开成绩最好的那个
- 同一个模型在不同时段面对的题目难度分布不完全可比
04
来源清单
1 条
逐条摊开，每条附原文链接⌄
官方论文、仓库与第三方核查 · 1 条