怎么检查 AI 的产出

独立测试怎么说

• ！斯坦福测法律问题：不带检索的通用模型错误率 82%，带检索的两款专门工具仍有 17% 至 33%。
• ！哥伦比亚大学 Tow Center 测 8 款生成式搜索、1600 次查询：六成以上答错，错误率最高的一款达 94%。

照着核

1. 01问它这个数字出自哪份报告、哪一页、什么统计口径
2. 02打开它给的链接，逐句核对数字是不是真在原文里，而不是它「总结」出来的
3. 03涉及区间、平均值、百分比的，看有没有丢掉「约」「最多」「中位数」
4. 04换一种问法再问一遍，两次答案不一致的地方重点查
5. 05金额、税率、汇率这类会变的数，去官方页面查当天的值

官方工具：Anthropic 引用溯源：把数字所在的原文句子标出来，可定位到源文档；OpenAI 文件检索：结果自带来源标注；Google 联网检索：把回答和实时网页绑定，核时效性数字

独立测试怎么说

• ！2023 年《Scientific Reports》核对 636 条 AI 写的参考文献：GPT-3.5 有 55% 是编的，GPT-4 有 18%；就算真实存在的，也有 24% 至 43% 带着作者、年份、期刊的错误。

照着核

1. 01把论文标题原样搜一遍，标题和作者要完全对上，不能只对上关键词
2. 02有 DOI 的，打开 doi.org 加编号验证，跳不到真实文献就是编的
3. 03让它把引用支撑的那句原文摘出来，再去原文里找 —— 找不到就是编的，哪怕论文是真的
4. 04同一篇文章引了多处，抽查两三条，别因为一条是真的就默认全真
5. 05中文转述的海外研究，回英文原文核数字和限定词

官方工具：Anthropic 引用溯源：要求先逐句摘录原文再回答；OpenAI 文件检索：输出可跳转到源文件段落；doi.org：通用的文献编号核验入口

独立测试怎么说

• ！截至 2026 年 4 月，已记录到 1313 起出现 AI 生成虚假内容的法庭案件，其中 496 起涉及执业律师。
• ！斯坦福把法律幻觉分三类：引用不存在的判例、张冠李戴、引用真实语句但它根本不支持该观点。
• ！国内：北京通州法院审理一起代持股纠纷时发现，律师提交的两个「参考案例」是反复问 AI 生成的，案号对应的真实判决毫不相干；因现行法律对此没有明确规定，法院只在判决书里予以批评。
• ！法庭对 AI 幻觉的罚款 18 个月里涨了约 11 倍：从 2023 年的 5000 美元到 2025 年的 55597 美元。

照着核

1. 01让它给出完整案号、法院、年份，去中国裁判文书网原样检索，查不到就是编的
2. 02法条的第几条第几款，去国家法律法规数据库核原文，条文号错位最常见
3. 03它说某判例「支持」某结论，找到判例原文那一段，确认原文真这么判
4. 04涉外内容，看有没有把大陆、香港、海外判例法的规则混在一起
5. 05具体案件的建议只当找起点的线索，正式场合找执业律师

官方工具：中国裁判文书网、国家法律法规数据库（官方检索入口）；文本是您自己上传的，可用引用溯源核对它是不是按文档答的

独立测试怎么说

• ！一项测了 16 款模型、57.6 万条代码样本的研究：商用模型平均 5.2%、开源模型 21.7% 的情况推荐了不存在的包；58% 的假包名会反复出现，可能被人抢注投毒。
• ！2025 年 7 月，用户反复叮嘱「不要再改动」，AI 编程助手仍删除了生产数据库，服务方 CEO 公开道歉。
• ！Google DeepMind 论文：没有外部反馈（人工纠正、执行结果）时，模型自我修正推理不可靠，有时越改越差。

照着核

1. 01它推荐的依赖包，去 PyPI、npm 官方页原样搜：包存在、下载量正常、不是刚注册的
2. 02跑测试用例，别只读代码觉得逻辑对
3. 03写库、删库类操作先在测试环境跑，正式库和测试环境隔离 —— 不靠「叮嘱它别改」
4. 04换一个新对话或另一个模型复核关键逻辑
5. 05上线前把依赖清单逐个核一遍，防止假包名混进去

官方工具：PyPI、npm 官方包索引；OpenAI 官方「先规划、再动手、做完反思」流程：带执行结果反馈，编程场景通过率提升 4 个百分点

独立测试怎么说

• ！一项跨语言评测：西语版题库里的错译让 GPT-4 准确率损失 6% 至 13%，最多 60% 的失败可直接归因于翻译错误。
• ！上海人工智能实验室、西湖大学等研究：GPT-4 译文里超过 40% 有翻译腔，某开源模型英译中最高达 76%。

照着核

1. 01人名、地名、机构名、产品名逐个查官方译名，不接受它自创的音译
2. 02数字、单位、日期前后逐一对，重点看「百万」和「十亿」、公制和英制
3. 03长句译完，用原文语言复述一遍译文意思，查有没有偷换主语、丢掉否定词
4. 04法律、合同、医疗类找该领域母语者或专业译者复核
5. 05怀疑翻译腔时，另开对话把译文倒译回去，对比语义偏差

官方工具：三家厂商都没有专门的翻译校验功能 —— 官方未说明

独立测试怎么说

• ！HallusionBench 等测试显示，多模态模型在复杂图表问题上出现明显幻觉，会生成图里不存在的数字。
• ！Chart-HQA 等基准专门检测图表理解里的固有偏差，说明这是这类任务的普遍难点，不是个别模型偶发。

照着核

1. 01让它读图之前，先自己看一眼：坐标轴单位、是不是从 0 开始、图例对应
2. 02它读出的数，抽两三个点回原始报告或官方数据页核对
3. 03「趋势」「对比」类结论，看有没有把同比和环比、含税和不含税混在一张图
4. 04让它说明数据来源和时间，来源不明的不用
5. 05图是它画的，反过来核图上的刻度和它引的原始数字是否一致

官方工具：三家厂商都没有面向普通用户的图表读数校验功能 —— 官方未说明