基准测试在测什么 › Terminal-Bench
Terminal-Bench
智能体在真实命令行终端里完成任务，覆盖软件工程、安全、科学计算等 16 类。
智能体领域89道题3条已知毛病2026-09-14数据截至
01
分数高对您意味着什么
本站根据出题方式和已知毛病解读
分高说明能在沙箱里完成标准化的终端操作，不代表能安全地在您公司的真实服务器上自主运维。
02
怎么出题、怎么打分
出自官方论文与官方仓库
- 题目怎么来
- 2.0 版由官方团队策划 89 道，每道含指令、Docker 环境、验证测试和示范解法
- 怎么打分
- 每题跑 5 次，用标准资源限制，由容器内的验证脚本自动判定
03
已知毛病
官方自陈与第三方核查
- 只有 89 道，单题失误对总分影响大
- 前沿智能体正确率普遍低于 65%，还没饱和，但分数波动区间大
- 题目是否被训练数据污染，官方未说明
同领域还可以对照看：τ-bench / τ²-bench、GAIA。
04
来源清单
2 条