AI 能力边界地图：哪些活现在交给它值

依据：《Journal of Hospitality Marketing & Management》2024 年实验研究（1000+ 美国成年人）显示产品描述里出现「人工智能」字样会降低购买意愿，但这测的是"读者对 AI 身份的信任"而非"AI 写作本身的质量"

在什么条件下：需要事实准确、专业术语精确的写作（法律函件、医疗说明）要降一档；对外发布内容若落入中国《人工智能生成合成内容标识办法》（2025-09-01 起施行）覆盖范围须加标识，见

依据：《Lost in the Middle: How Language Models Use Long Contexts》（Liu et al., 2023）："performance can degrade significantly when changing the position of relevant information"——关键信息放在文档中段时更容易被漏掉；Chroma《Context Rot》报告显示，即便是简单检索任务，表现也会随输入变长而不均匀下降

在什么条件下：原文长度落在模型标称上限之内、且用第三方测试（如 RULER）验证过该长度档位表现，可靠性更高； 显示 17 个模型中"only half of them can maintain satisfactory performance at the length of 32K"

依据：Intento《State of Translation Automation 2025》评测 46 系统、11 语言对，排名前 14 的系统在标准文本上人机难辨；同时排名靠后的系统"每篇文本仍有多处错误"。WMT25（2025 年机器翻译权威共享评测，ACL Anthology 官方论文）覆盖 30 个语言对、60 个系统，采用专业译员做 ESA/MQM 人工评分；论文标题本身即《Time to Stop Evaluating on Easy Test Sets》，并指出"Hunyuan-MT 在自动评分中几乎所有语言对排名第一，但人工评分显示其表现明显低于评分最高的系统"——说明自动评分和专业译员人工评分的排名可以完全不同

在什么条件下：法律合同、文学、营销文案这类容错率低或依赖语境文化转换的内容要降一档；arXiv 研究显示跨领域跨专业程度评测中，高难度文本人机差距仍明显（arXiv 2407.03658），文学翻译上读者仍更偏好人工译文（arXiv 2606.26040），均

依据：OpenAI o3 在 SimpleQA 基准上 51% 的回答被判定为幻觉，o4-mini 为 79%，均高于前代 o1 的 44%（OpenAI 官方 System Card，经 TechCrunch 转引 ）；EBU 与 BBC 联合研究（22 家公共媒体、18 国、14 种语言、3000+ 条回答）发现"45% of all AI answers had at least one significant issue"，"31% of responses showed serious sourcing problems"—— （已核原文）

在什么条件下：接入联网搜索并给出可点击来源链接时可信度提升，但仍需抽查来源是否真的支持结论

依据：2025 年国际数学奥林匹克官方证实 Google DeepMind 的 Gemini Deep Think 在与人类选手相同的 4.5 小时限时内，用自然语言直接给出完整证明，解出 6 题中 5 题，IMO 官方评委评为 35/42 分、达金牌线，IMO 主席原话确认证明"completed and correct"

在什么条件下：同一篇引用的 Petrov et al.《Proof or Bluff? Evaluating LLMs on 2025 USA Math Olympiad》（arXiv 2503.21934）用真实奥赛选手人工评分完整证明过程，8 个顶尖模型里只有 Gemini-2.5-Pro 拿到 25% 及格分，其余全部低于 5%；若用 AI 自动评分会比人工虚高最多 20 倍。苹果《GSM-Symbolic》（ICLR 2025，arXiv 2410.05229）显示仅替换小学数学题里的数字，25 个模型准确率就从 80%+ 跌到 50% 以下，暴露的是模式匹配而非真正推理

依据：DeepSeek-R1 官方技术报告（2025-01，第 6 节）原文承认该模型"不会调用外部工具，例如搜索引擎、计算器"，涉及多步骤核实的任务上没有明显进步；Vals AI《Finance Agent Benchmark》（537 道专家题）显示"even the best-performing model (OpenAI o3) achieved only 46.8% accuracy"

在什么条件下：涉及金额、库存、税务这类要对得上账的数字，官方自己承认的短板决定了必须人工或用真计算器核对，不是保守做法而是必要做法

依据：同条目 6，DeepSeek-R1 官方报告承认不配计算器；OpenAI 官方研究博客《Why language models hallucinate》说明编造内容"不是工程失误，是当前训练打分方式导致的、数学上很难完全避免的结果"；Anthropic《Claude Opus 4.5 System Card》官方原话"距离彻底消除一本正经编事实还差得远"

在什么条件下：表格文件大小/行数上限因产品而异，飞书多维表格单表最多 200 万行（企业版）、WPS AI 数据分析当前上限 60 万单元格（官方客服回复）

分档：要人盯着（专用检索工具）／还不值（通用聊天机器人单独作为法律咨询依据）

依据：斯坦福 RegLab 预注册研究（Magesh et al., 2024）："each hallucinate between 17% and 33% of the time"（商用法律检索工具 Lexis+ AI、Westlaw AI 等），通用聊天机器人在法律问题上幻觉率达 58%-80%；Mata v. Avianca（2023-06，美国纽约南区）判例：律师用 ChatGPT 写诉状引用 6 个不存在的判例，被罚 5000 美元， ；Deloitte 给澳大利亚政府做的报告出现"fabricated quote from a federal court judgment and references to nonexistent academic research papers"，部分退款

在什么条件下：英国内阁办公室 PPN 02/24（2024-03）官方采购指引明确写"they may also introduce an increased risk of misleading statements via 'hallucination'"， ；合同比对（对照公司标准模板找差异）比法律咨询问答风险更低，但斯坦福研究测的是法律检索问答，合同比对类任务的独立测试未见

依据：2023–2025 年的多项研究综述显示，LLM 的诊断准确率与医生相比差距区间很大（25%–97.8%），具体取决于病种和评测方式；LLMEval-Med（EMNLP 2025，基于真实电子病历构建的 2996 道临床题）

在什么条件下：未见针对通用聊天机器人整体诊断准确率的统一权威结论，医疗诊断领域本身容错率要求极高

依据：美国心理学会（APA）2025-11-13 发布正式健康公告（Health Advisory），原文明确"GenAI chatbots were not created to deliver mental health care"，且"Generative AI tools cannot accurately assess risk or understand the nuance of someone's history, environment, or symptoms"，并指出聊天机器人"tend to repeatedly affirm the user, even if a person says things that are harmful or misguided"，可能"prevent a person in crisis from seeking support from a trained human therapist"；美国 FDA 数字健康顾问委员会 2025-11-06 召开会议专题讨论"Generative Artificial Intelligence-Enabled Digital Mental Health Medical Devices"，官方指出 LLM 存在"hallucinations, context failures, model drift, misuse, disparate impact across populations"等风险，且截至会议召开，FDA 已批准超 1200 款 AI 医疗器械，但"none of these has been indicated to address mental health"、也"has yet to authorize a GenAI-based device for any clinical purpose"

在什么条件下：APA 同一份公告承认"AI-enabled wellness apps that teach coping strategies, support behavior change, or reinforce skills learned in therapy can be helpful when integrated into a broader plan of care"——即作为专业治疗计划的辅助工具（教技巧、强化已学内容）有正面作用，但前提是"整合进更大的治疗计划"，而非替代治疗本身

依据：未见可核证据支持通用 LLM"投资建议准确率"达到可信水平的权威量化评测

在什么条件下：多国监管环境下，持牌投资建议需持牌人士出具，AI 输出不构成合规的投资建议（此为监管性质限制，非能力测试）

依据：微软研究院与 GitHub 合作的随机对照实验（Peng et al.,《The Impact of AI on Developer Productivity: Evidence from GitHub Copilot》, 2023）：95 名开发者用 JavaScript 从零实现 HTTP 服务器，"The treatment group, with access to the AI pair programmer, completed the task 55.8% faster than the control group."

在什么条件下：任务边界清晰、从零开始的新功能场景效果最实；SWE-bench Verified（真实 GitHub issue 修复基准）上前沿模型已达约 54%-81%，但 OpenAI 官方文章指出该基准"约 59.4% 的失败案例实为测试用例本身有缺陷"（此条系转述，未逐字核实）

依据：METR（独立评估机构）2025 年随机对照试验：16 名有多年经验的开源维护者处理 246 个真实 issue，结论原句"when developers are allowed to use AI tools, they take 19% longer to complete issues"；开发者事前预期"AI to speed them up by 24%"，事后自评仍"believed AI had sped them up by 20%"——即实际变慢但主观感觉变快， ；Stack Overflow《2025 年开发者调查》（177 个国家）显示"trust in the accuracy of AI has fallen from 40% in previous years to just 29% this year"，66% 开发者称花更多时间修"差不多对"的 AI 代码， ；GitClear 分析 2.11 亿行代码改动（2020-2024）显示复制粘贴代码占比从 8.3% 升到 12.3%，重构代码占比从 25% 降到不足 10%

在什么条件下：METR 样本是"资深人在自己熟悉的大型仓库上做真实任务"，AI 需要时间理解已有架构，反而拖慢节奏，与"从零写新功能"场景（条目 12）条件相反，METR 本身也声明该结果不代表所有开发场景

依据：OSWorld 基准 2024 年最好成绩约 20%，2025 年底前沿系统提升到约 72%-77% 区间，部分报告超过约 72% 的人类基线；但在更长链条的 OSWorld 2.0 基准上，最好系统只完成约 20.6% 的任务

在什么条件下：任务步骤越长、越需要处理意外情况（弹窗、格式错乱），成功率下降越明显

依据：METR《Measuring AI Ability to Complete Long Software Tasks》（Kwa & West et al., 2025-03-19）："The length of tasks (measured by how long they take human professionals) that generalist frontier model agents can complete autonomously with 50% reliability has been doubling approximately every 7 months for the last 6 years."当前前沿模型已能以 50% 成功率独立完成约人类专家 1 小时量级的任务

在什么条件下：这是一条正在快速变化、有明确时效性的曲线；任务需有清晰的完成标准（能自动判定对错）

依据：《IMAGINE-E》评测（arXiv 2501.13920）对比多款旗舰模型，DALL-E 3 未出现"多余手指"问题，FLUX.1 人体结构准确度表现较好

在什么条件下：选对模型、构图偏简单（单人、正面、手部不特写）

依据：同上 IMAGINE-E 评测，除 DALL-E 3 外其余主流模型普遍出现"多余手指"问题

在什么条件下：英国高等法院 2025-11-04 对 Getty Images v. Stability AI 的一审判决驳回了核心版权侵权主张，但认定早期 Stable Diffusion 生成图中存在 Getty 水印，构成有限的商标侵权；中国网信办《人工智能生成合成内容标识办法》（2025-09-01 施行）覆盖图片类内容，2026-04 已对剪映、猫箱、即梦 AI 等因标识不到位立案查处

依据：见条目 17 IMAGINE-E 评测方向，未见到针对"图内文字准确率"的单独量化权威评测

在什么条件下：短文字、大字号场景改善明显于长文字、复杂排版

依据：未见具名机构对视频生成"多镜头一致性可用率"的量化基准

在什么条件下：中国《人工智能生成合成内容标识办法》同样覆盖视频类内容

分档：要人盯着（企业场景）／还不值（免核验身份的克隆使用）

依据：FBI《2025 年互联网犯罪报告》首次把 AI 相关欺诈列为独立统计类别，语音克隆诈骗列为"重点新兴威胁"，AI 相关欺诈投诉超 2.2 万起、损失超 8.93 亿美元， ；FTC 数据显示 2023-2025 年间深度伪造相关投诉增长约 1200%，仅需约 3 秒音频样本即可生成可用于诈骗的克隆声音

在什么条件下：ElevenLabs 官方安全页对高风险克隆场景要求"technological verification for access to our Professional Voice Cloning tool"， ——企业使用前把身份核验和授权留痕做实，这项能力才稳落在正规用途

依据：微软官方 Teams intelligent recap 明确写"Some AI-generated content might be inaccurate, incomplete, or inappropriate."并要求会议时长五分钟以上、用支持语言转写

在什么条件下：安静环境、单人说话准确率最高；嘈杂环境、多人抢话、专有名词密集场合要人核对

依据：同条目 2，NoLiMa 基准测试显示多个模型在上下文增至 32K 时表现掉到短文本基线 50% 以下，部分模型在存在误导性表面线索时"有效可用长度"缩水到约 1K token

在什么条件下：Anthropic 官方公告 Claude Opus 4.6 的 1M token 上下文窗口为 beta 状态，在 MRCR v2 的 8-needle 1M 变体测试得分 76%——官方跑分用理想化单点检索任务，真实场景信息分散、藏在中段，条件更苛刻

依据：Anthropic 官方隐私中心明确消费者产品默认不使用聊天内容训练模型（需用户主动打开）， ——记忆功能本身官方文档普遍说明为"可编辑、可能出错"的辅助特性；本轮未见具名机构对"记忆准确率"的量化评测

在什么条件下：各家产品实现方式差异很大，功能持续迭代

依据：Anthropic 官方模型对比表标注"Reliable knowledge cutoff""Training data cutoff"两个日期， ；OpenAI 官方模型列表页每个模型标注"Knowledge cutoff"具体日期

在什么条件下：接入联网搜索（Grounding with Google Search 等）能连上实时网页内容，"should be enabled whenever the model may need to know obscure or recent facts"

依据：Vectara Hallucination Leaderboard（2026-05-11 更新版）显示排名第一的模型在"给定文档做摘要"这类有明确原文可核对的场景（grounded task）幻觉率低至 1.8%（忠实度 98.2%）；OpenAI 官方文档《Prompt engineering》"The technique of adding additional relevant context to the model generation request is sometimes called retrieval-augmented generation (RAG)."

在什么条件下：知识库本身的质量和覆盖面决定上限，检索不到相关内容时，模型仍可能编造；同一榜单显示，即便排名靠前的模型，在长文档摘要中仍会出现不忠于原文的内容，只是频率不同

依据：同条目 5 IMO 官方证实结果；但苹果《The Illusion of Thinking》显示推理模型在任务复杂度超过某阈值后出现"准确率完全崩溃"，且该结论亦有学界反驳（Alex Lawsen， 质疑评测方法本身对输出格式要求过严）

在什么条件下：题目结构清晰、有标准答案时表现最好；开放性、需常识判断的现实决策题不能直接类推

依据：哈佛商学院与波士顿咨询《Navigating the Jagged Technological Frontier》（758 名顾问参与）：在 AI 能力范围内的任务上，用 GPT-4 的顾问平均多完成 12.2% 任务、快 25.1%、质量评分高 40%；但同一实验（发表于，转）显示超出能力范围的任务"AI assistance reduced correctness by 19 percentage points"——能力范围外用 AI 反而更容易答错

在什么条件下：任务是否落在 AI 能力范围内是决定性因素，而这条边界事先并不总是清楚

依据：未见针对"通用规划任务"的权威量化基准

在什么条件下：步骤越多，出错概率累积越高（与条目 14 computer-use agent 长链条任务表现下降的证据方向一致，可类比但非同一测试对象）

依据：发散性任务没有唯一正确答案，本身不适用事实准确性类基准评测；未见量化研究专门评估"点子质量"，但该类任务本身错误代价低（不涉及事实错误风险）

在什么条件下：无

依据：NBER Working Paper No. 31161（Brynjolfsson, Li & Raymond，《Generative AI at Work》）对 5179 名真实客服坐席追踪显示配备生成式 AI 助手后人均每小时解决问题数提升 14%，新手和技能水平较低的客服提升幅度达 34%，"with minimal impact on experienced and highly skilled workers"

在什么条件下：加拿大 BC 省民事裁判庭 2024 年 2 月裁定，Air Canada 要为聊天机器人给出的错误退款承诺负责（构成过失陈述）；退款、赔付、政策解释类回复必须人工审核

依据：中消协 2026 年上半年投诉分析原文："AI客服转人工机制不畅，部分平台通过循环应答、多层跳转等方式延缓或阻碍消费者进入人工服务流程"， （已核原文）；中国国家标准《顾客联络服务 人工与智能客户服务协同要求》已于 2026-09-01 起施行，明确要求智能客服须设置人工入口，在多轮交互未解决、检测到负面情绪或涉及人身安全等紧急场景时自动转人工

在什么条件下：Gartner 调查显示客户使用第三方通用 AI 工具解决客服问题的可能性是使用企业自家客服机器人的约 3 倍，企业自家聊天机器人使用率自 2022 年以来基本没涨

依据：见条目 8；国内合同管理平台官方能力说明（如法大大）称能"自动提取合同中的当事人信息、合同金额、生效日期、付款方式等核心条款"并"将待审合同与公司预设的标准合同模板进行比对"， （已核原文，但该页未见"需人工复核"一类限制说明）；厂商自述"合同条款遗漏风险率从 20% 降至 2%"的数字，出处页面未打开复核

在什么条件下：法律领域通用聊天机器人幻觉率见条目 8；合同比对类任务的独立测试未见

依据：Mobley v. Workday 案（2025-05-16 美国法院允许以全国集体诉讼推进），指控其 AI 打分排序工具"unfairly penalize older candidates"（对 40 岁以上求职者造成歧视），法院认为工具提供方也可能担责， （已核原文，案件仍在审理，是指控不是判决）；纽约市 144 号地方法要求"Conduct a bias audit of the automated employment decision tool (AEDT) no more than 1 year prior to its use." （2025-12 纽约州审计局报告，同时指出投诉处理机制无效，已核原文）；亚马逊 2018 年因训练数据以男性简历为主而弃用内部 AI 招聘工具，对含"women's"字样简历降分

在什么条件下：北森官方称把初面做到"100%自动化"，同时写明"把最终裁决权留给HR与面试官"， （已核原文）；中国《个人信息保护法》第二十四条规定对个人权益有重大影响的决定，个人有权要求说明并拒绝仅通过自动化决策作出的决定

依据：未见可核证据支持通用大模型 PII 识别准确率的权威量化评测

在什么条件下：结构化、格式固定的敏感信息（身份证号、手机号格式）识别相对可靠，非结构化文本中的隐含身份信息识别难度更高

依据：未见针对中文语境合规审核准确率的具名权威评测；参照《人工智能生成合成内容标识办法》执法实践（2026-04 网信办对剪映、猫箱、即梦 AI 等因标识不到位立案查处）说明监管口径在持续变化且已有实际执法

在什么条件下：模型训练数据的时效性是审核最新监管口径的结构性限制

依据：Deloitte 给澳大利亚政府做的报告出现"fabricated quote from a federal court judgment and references to nonexistent academic research papers"，部分退款，另见 OECD AI 事件库

在什么条件下：熟悉的、被广泛讨论的经典研究复述准确率较高；小众或最新论文容易编造细节

依据：Vals AI《Finance Agent Benchmark》（537 道专家题）"even the best-performing model (OpenAI o3) achieved only 46.8% accuracy"—— （测的是分析师任务，不完全等同对账，但覆盖跨文档计算）；微软官方 Copilot 财务场景说明在生成对账结果之后明确列出人工步骤"Review the Reconciliation Report transactions for any discrepancies." （已核原文）

在什么条件下：数据量大、格式杂时 AI 用在清洗和解释差异上较合适，匹配本身建议交给确定性规则引擎而非模型心算

依据：AppZen（费用审计平台，利益相关方数据）披露被识别出的假收据中 AI 生成的占比从 2025 年 3 月的 0% 升到 2026 年 5 月中的 70.8%，"AI-generated fake receipts average roughly $100 each"—— （已核原文，转述 AppZen 数据，AppZen 为利益相关方）

在什么条件下：国内增值税电子发票可联网查验，风险主要落在非发票类凭证（小票、行程截图）；国内 AI 伪造小票的统计数据未见可核证据

依据：见条目 8、36 幻觉与编造证据；英国内阁办公室 PPN 02/24 官方文件同时提示投标方用 AI 写标书时，采购方可能需要额外尽调确认真有履约能力

在什么条件下：业绩、资质、人员证书等事实性内容原本就该核对原件，与是否用 AI 无关，但 AI 编造的风险会加重这道核验的必要性

依据：一项针对涉核能话题推文的研究显示，LLM 处理反讽推文时准确率仅约 30%，去除反讽内容后情感分析准确率最多提升 21 个百分点；同一研究显示训练于通用推文数据集的模型在反讽推文上的表现明显更好（约 60% 准确率），说明表现高度依赖训练数据与话题领域；另一项发表于《Scientific Reports》的比较研究专门评估 LLM 与人工标注者在情感、政治倾向、情绪强度、反讽识别上的一致性，发现反讽识别是 LLM 相对人工标注者差距最大的维度之一

在什么条件下：语料越贴近模型训练数据覆盖的领域和表达方式，准确率越高；反讽、网络新词、地域梗类内容是系统性弱项，且中文语境下的同类量化研究未见可核证据

分档：现在交给 AI 值（内部使用）／要人盯着（对外或写入任务系统前）

依据：飞书妙记官方描述"会议纪要与待办总结"， （已核原文）；微软官方 Teams intelligent recap 同时承认"Some AI-generated content might be inaccurate, incomplete, or inappropriate."

在什么条件下：录音质量差、多人交叉发言时准确率下降；待办指派错人、漏项的独立量化测试未见可核证据（仅有官方自认可能不准确的一般性表述）

依据：SuperCLUE《2025 年度中文大模型基准测评报告》（2026-02-06 发布）显示全球榜单前三为海外模型（Claude-Opus-4.5-Reasoning 68.25 分、Gemini-3-Pro-Preview 65.59 分、GPT-5.2 high 64.32 分），国内模型中 Kimi-K2.5-Thinking 是开源模型第一（61.50 分）、Qwen3-Max-Thinking 是闭源模型最好（60.61 分），比榜单第三名低不到 4 分，报告原话"国内模型正从'跟随'加速到'并跑'"

在什么条件下："中文能力领先"类宣传通常只挑对自己有利的子任务或对比对象；垂直场景（法律、客服话术）的综合分参考价值有限