基准测试在测什么 › τ-bench / τ²-bench
τ-bench / τ²-bench
在模拟的电商、航空、零售客服里，边守企业规则、边调工具、边和「用户」多轮对话把事办完。
智能体领域官方未说明道题3条已知毛病2026-09-14数据截至
01
分数高对您意味着什么
本站根据出题方式和已知毛病解读
反映的是能不能按公司规则可靠地办事；超出政策文档的例外和人情世故，它测不到。
02
怎么出题、怎么打分
出自官方论文与官方仓库
- 题目怎么来
- 官方构建多个业务领域的模拟环境和政策文档，用户由另一个语言模型扮演；总任务数官方未说明
- 怎么打分
- 对比对话结束时的数据库状态和标注目标是否一致；另用 pass^k 看同一任务反复做是否稳定
03
已知毛病
官方自陈与第三方核查
- 论文里最强的智能体单次成功率不到 50%，连续 8 次都成功不到 25%，「做对一次」和「每次都做对」差很远
- τ²-bench 加了用户端也能操作的场景，两代分数不能直接比
- 扮演用户的模型会影响结果，标准配置用哪个模型官方未说明
同领域还可以对照看：Terminal-Bench、GAIA。
04
来源清单
2 条