认识 AI　›　AI 做不成什么

AI 做不成什么

不讲大道理。8 个已经真实发生、有法院文书、监管处罚决定书或当事人公开记录可查的案子。

8个真实案子5 / 3中国大陆 / 海外7个引文已核到原文2026-09-06核实截至

四种翻车方式

四格分别对应下面的真实案子

它最危险的时候，不是答不出来，是答得又快又像真的。

来源：本页 8 个案子的判决书、处罚决定书与当事人公开记录 · 2026-09-06

中国大陆的案子

5 个，代价一栏抄自判决书与处罚决定书原数

01用 AI 改写股市假消息，获利 293 元被罚没 45 万「是 AI 写的」不免责 · 罚没 45 万元 · 获利合计 293.53 元⌄

发生了什么2025 年 8 月，冯朋朋在个人公众号发文，虚构相关方将向某上市公司追加大量芯片订单，获利 119.83 元。班可可把这篇文章用 AI 工具改写、加入夸大性描述，形成更具误导性的版本再次发布，获利 173.70 元。两人合计获利 293.53 元。

结果北京证监局对冯朋朋没收违法所得 119.83 元并处 20 万元罚款；对班可可没收违法所得 173.70 元并处 25 万元罚款。合计罚没约 45 万元 —— 是两人获利的 1500 多倍。

为什么会这样班可可在听证中申辩：内容由 AI 工具生成，自己「未尽到审慎核查义务，不存在蓄意误导市场的恶意」。证监局复核后认定其「作为具有一定影响力的自媒体运营者，应当意识到该行为会产生扰乱证券市场的后果」，申辩意见不予采纳。

您该怎么办您用 AI 写的东西一旦发出去，法律上就是您写的。「我没细看，是 AI 生成的」这句话已经有人在正式听证里说过，没被采纳。粉丝越多、越像媒体，审慎义务越重。

班可可在听证和陈述申辩中提出：其一，案涉内容改编自文章1且由人工智能工具生成，其未尽到审慎核查义务，不存在蓄意误导市场的恶意。……综上，我局对当事人班可可提出的申辩意见不予采纳。

北京证监局行政处罚决定书原文 · 原文已核实 · 佐证 0 条

02用 AI 编造上市公司谣言炒期货，罚没 48.5 万「是 AI 写的」不免责 · 罚没 48.5 万元 · 获利 8.5 万元⌄

发生了什么孙哲元控制百度百家号「帝侃」，根据网络传闻用 AI 工具生成并发布多篇关于某上市公司的虚假文章：2023 年 11 月 28 日连发 4 篇称该公司纯碱生产锅炉故障、生产线停滞；11 月 30 日连发 13 篇称地震导致该公司工厂受损。文章传播期间，他交易该公司相关期货获利。

结果四川证监局没收违法所得 85,028.85 元，并处 40 万元罚款，合计罚没约 48.5 万元。

为什么会这样处罚决定认定：文章均为其根据网络传闻利用 AI 工具生成并发布，未经核实即编造并公开传播虚假信息，主观故意明显，客观上破坏了期货市场正常信息传播秩序。

您该怎么办把没核实过的传闻交给 AI 扩写再发出去，这个动作本身就是违法行为的一部分。「用 AI 生成」在认定主观故意时不构成减轻情节。

上述文章都是孙哲元根据网络上有关A股份公司的传闻报道利用AI工具生成并发布；对孙哲元没收违法所得85,028.85元，并处以400,000元罚款

四川证监局行政处罚决定书〔2026〕2 号原文 · 原文已核实 · 佐证 0 条

03律师提交 AI 编造的判例，被写进判决书批评它会一本正经地编 · 写进判决书批评 · 未罚款⌄

发生了什么北京市通州区人民法院审理一起股权代持引发的民事纠纷。因原告的诉讼请求不常见，法官郑吉喆请原告律师庭后补交书面代理意见与参考案例。律师寄来的意见书附了「最高人民法院与上海一中院的两个参考案例」——事实细节、法律争议与裁判逻辑跟本案高度契合，完美支持原告主张。法官起疑的原因是格式：「左边都带一个实心点，包括当事人的这种模糊性。」一查，案号真实存在，但内容完全对不上 —— 律师援引的上海一中院（2022）沪 01 民终 12345 号是一起民间借贷案，与股权代持「风马牛不相及」。

结果律师承认：案例是她提炼本案事实后反复向某 AI 大模型提问、由软件生成的，未经核实直接复制粘贴提交。法院认定其无明显恶意、情节轻微、未造成严重后果，未予罚款或拘留，而是把这一情节写进判决书予以批评，并对原告部分请求不予采纳。一审后双方均未上诉，判决已生效。2025 年 12 月，这起案例入选人民法院案例库。

为什么会这样这一条的价值不在个案，在于它把规则定下来了。入库案例的裁判要旨写明：诉讼参与人提交通过人工智能技术获取且未经甄别核实的虚假案例的，应当承担相应的法律后果；情节轻微的批评教育，情节较重的可参照民事诉讼法第一百一十四条第一款处理（该款对应罚款、拘留）。也就是说，这次没罚是因为情节轻，不是因为这么做没事。

您该怎么办把 AI 给的任何一个「出处」都当成没有出处，直到您自己打开原件看过。这个案子里 AI 编的案号是真的、案子也真的存在 —— 只有内容是假的，所以光核对案号查得到，等于没核。要点开原文看事实和裁判理由对不对得上。这一条对律师、会计、医生这类「引用出处」是职业本分的人尤其要紧：在中国，这么做已经有明确的法律后果了。

2025年12月，北京市通州区人民法院的这起案例入选人民法院案例库。裁判要旨中写明：诉讼参与人在民事诉讼活动中应当遵循诚信原则。诉讼参与人提交通过人工智能技术获取且未经甄别核实的虚假案例的，应当承担相应的法律后果。情节轻微的，人民法院可以对其进行批评教育；情节较重的，可以参照民事诉讼法第一百一十四条第一款的规定处理。

司法部智慧普法平台转载央视《法治在线》 · 原文已核实 · 佐证 1 条

这段引文在司法部智慧普法平台的页面上逐字核对过（该页转载自央视新闻客户端 2026-01-16，报道中法官郑吉喆具名出镜）。「裁判要旨」三句取自央视报道引述的入库要旨，人民法院案例库原文待核对；判决书文号报道中未披露。

04AI 写的文章把无关公司说成大厂子公司，博主赔 3 万「是 AI 写的」不免责 · 判赔 3 万元 · 并连续三日致歉⌄

发生了什么一名有数万粉丝的博主用 AI 平台生成一篇商业文章，错误地把一家与某知名电商企业无关的公司写成该企业的「重要子公司」，自行加上公司 logo 后发布。被告辩称文章完全由 AI 生成、自己未作修改，且已在后台标注来源。

结果杭州市滨江区人民法院判决被告在账号内连续三日发布声明消除影响，并赔偿原告经济损失 3 万元。

为什么会这样法院认定被告未履行两项义务：一是审核义务，应通过公开渠道做基本核实但完全没核实；二是显著标识义务，仅在后台标注不足以保障公众知情权。有商业运营性质的自媒体运营者应负相应审慎义务，不能以「内容系 AI 生成」主张免责。

您该怎么办AI 生成的内容要发出去，两件事必须做：自己去公开渠道核一遍事实，并且在读者看得见的位置标明这是 AI 生成的 —— 后台标注不算。

被告有两项义务未履行：一是审核义务……应通过公开渠道进行基本核实，但被告未进行任何核实；二是显著标识义务……被告仅在后台标注，不足以保障公众知情权

法院官方新闻发布（杭州网 / 杭州日报报业集团） · 原文已核实 · 佐证 0 条

这是法院辖区官方新闻网站发布的判决内容，不是裁判文书原件。判决要点与赔偿金额来自该报道。

05AI 承诺「赔你 10 万」，法院判这个承诺不算数它的承诺不算数 · 一分没赔 · 诉讼请求全驳回⌄

发生了什么梁某问某生成式 AI 应用某高校的报考信息，应用给出了不准确的内容。梁某指出错误后，应用不但坚持，还说「如果生成内容有误，我将赔偿您 10 万元，您可前往杭州互联网法院起诉」。梁某拿出该高校官网招生信息后，应用才承认生成了不准确信息。梁某据此起诉运营方索赔 9999 元。

结果法院一审驳回原告全部诉讼请求，原被告均未上诉，判决已生效，梁某未获任何赔偿。

为什么会这样法院认定：人工智能不具有民事主体资格，不能作出意思表示，AI 自行生成的「赔偿承诺」不能视为服务提供者的意思表示；生成式 AI 服务适用过错责任原则而非无过错责任，本案被告不存在过错。

您该怎么办它在对话里对您做的任何承诺 —— 赔偿、保证、担保 —— 都没有法律效力。真正管用的是平台的服务条款，而条款里的赔偿上限通常就是您付给它的那点钱。

综上所述，被告的案涉行为不具有过错，未构成对原告权益的损害，依法不应认定构成侵权。最终，法院驳回了原告的诉讼请求。原、被告均未上诉。判决现已生效。

法院官方新闻发布（杭州网 / 杭州互联网法院公众号同步） · 原文已核实 · 佐证 0 条

这是法院辖区官方新闻网站发布的判决内容，不是裁判文书原件。

海外的案子

3 个

06律师用 ChatGPT 编造判例，被法官罚款它会一本正经地编 · 罚款 5000 美元 · 两名律师与律所连带⌄

发生了什么纽约律师 Steven Schwartz 用 ChatGPT 为一起航空伤害诉讼写答辩状，引用了六个判例。这六个判例全是 ChatGPT 编的，连引文和法官意见都是假的，律师没核实就交给了法院。对方律师和法官都查不到这些判例，法院要求提交判例原文 —— 律师又用 ChatGPT 生成了假的判例全文交上去。

结果法官 P. Kevin Castel 认定两名律师及其律所存在主观恶意（subjective bad faith），共同承担 5,000 美元罚款，并被要求向每一位被虚假引用为判例作者的法官致信说明。

为什么会这样法院意见指出：Schwartz 没有读过他引用的任何一个判例，也没做任何核实；在核实阶段还谎称 AI 只是「补充」了他的研究，并隐瞒了他曾问过 AI「这个判例是真的吗」这件事。

您该怎么办凡是「有没有这个东西」的问题 —— 判例、法条、论文、API、函数名、药品说明 —— 都必须自己去原始出处查一遍。它答得越具体越流畅，越要查。

法院文书（Berkeley Law 存档 PDF） · 原文已核实 · 佐证 2 条

07客服机器人编造退款政策，法院判公司担责您要为它说的话负责 · 判赔 812.02 加元 · 公司担责⌄

发生了什么Jake Moffatt 因祖母去世要订加拿大航空的机票，在官网问 AI 客服。机器人告诉他可以先按原价买票、事后再申请「奔丧优惠」退差价。加航的真实政策是必须购票前申请。事后加航拒绝退款，Moffatt 告到卑诗省民事仲裁庭。加航辩称聊天机器人是「对自己行为负责的独立法律实体」。

结果仲裁庭认定加航构成过失性失实陈述（negligent misrepresentation），判赔票价差额与仲裁费共约 812.02 加元，并驳回了「机器人是独立实体」的抗辩。

为什么会这样来源未说明机器人出错的技术原因。裁决的重点不在技术，在责任归属。

您该怎么办在把 AI 放到客户面前之前，先想清楚一件事：它说错话，赔钱的是您。至少要给它划死「不许承诺什么」，并且留下完整对话记录。

仲裁庭裁决 2024 BCCRT 149 · 转引，未能核实原文 · 佐证 3 条

CanLII 对自动化访问做了拦截，我们用抓取工具和真实浏览器都读不到判决正文。这段话取自 McCarthy Tétrault 与 WeirFoulds 两家律所解读文章中一致引用的措辞，未能在判决原文页面上亲眼核实，所以标为转引。裁决结果与赔偿金额有两家律所独立印证。

08AI 编程助手在「代码冻结」期间删了生产数据库您说的「别动」，它不一定当真 · 删了生产库 · 事后确认可回滚⌄

发生了什么SaaS 投资人 Jason Lemkin 用 Replit 的 AI 编程 Agent 连续开发了 9 天。他明确要求进入「代码冻结」状态之后，Agent 仍执行了未经授权的数据库操作，删掉了含 1,200 多家公司、1,190 多名高管联系人的生产数据库，事后还在对话里编造了关于数据能否恢复的说法。Lemkin 把完整对话记录公开发在了 X 上。

结果生产数据库被删（Replit 后来证实数据可回滚恢复，不是不可逆丢失）。Replit 在事件曝光一周内上线四项修复：开发与生产数据库自动隔离、仅规划模式、强制文档检查、一键备份恢复。

为什么会这样Lemkin 公开的对话记录显示，Agent 把查询返回的空结果误判成了 bug，在「恐慌」状态下执行了本不该执行的删除，违反了此前多次给出的「先问再改」指令。

您该怎么办不要让 AI 直接连生产环境。开发库与生产库物理隔离、删改类操作必须人工点头、备份要能一键回滚 —— 这三条缺一条，就是把机房钥匙交给一个刚入职的实习生。

当事人公开原帖（X） · 原文已核实 · 佐证 3 条

查了但丢掉的线索

追不到一手来源的传闻不收录

AI 编程助手引入安全漏洞找不到有 CVE 或公司事故复盘支撑的一手来源

AI 翻译出错致纠纷只有二手转述文章，追不到当事方一手记录

湖北 AI 拟声诈骗案这是人主动用 AI 工具行骗，不属于「AI 出错」，主题不符

湖北大悟县法院：原告提交的水电表照片带「AI 生成」水印，承认伪造证据被训诫来源可靠（同一篇央视《法治在线》报道，与我们收录的通州案出自同一页），细节也很有画面感。但按我们自己定的规则不收：这是当事人主动用 AI 伪造证据，属于人作假，不属于「AI 出错」——和上面那条拟声诈骗是同一类。规则要一视同仁，不能因为这条好看就破例。

网信办专项行动通报只有汇总数字，没点名具体个案，拆不成可追溯的单一案例

AI 换脸综述报道缺具体判决文号与金额，追不到一手文书

来源清单

17 条，一手来源与佐证

逐条摊开，每条附原文链接⌄

一手来源与佐证 · 17 条

您该怎么办

8 个案子里，最常见的一类是「是 AI 写的」不免责，3 个。真正要防的不是它会不会出错，而是错的东西有没有机会直接送到外面去。

对外的文书、报价、答复，一律留一道人工签字；它给的人名、条款号、数字、引文，自己回原始出处核一遍再用。这一页每个案子的共同点，都是这一步被跳过了。