编程:AI 能做到什么程度
官方把它定位成能读多文件代码库、能连续跑长任务的助手;同一批文档里也写明批准与复核的责任在您。
3家官方文档10条写明的硬限制9条官方自己承认做不好的2026-09-06数据截至
01
各家官方怎么说
点开看硬限制和官方自己承认的短板,数字原样取自官方页面
| 厂商 | 官方怎么定位它 | 硬限制 | 自认短板 |
|---|---|---|---|
| 在您的终端里读代码、改文件、跑命令,权限由您逐条授予。 | 3 | 3 | |
| 在命令行、IDE 与云端跑编码任务,含 /review 的差异复核。 | 3 | 3 | |
| 让模型生成并运行 Python,用来做计算、处理数据、画图。 | 4 | 3 |
Anthropic(Claude Code)3 条限制 · 3 条自认⌄
硬限制
- 手动模式下只能写入启动时所在的目录及其子目录,改父目录要另行授权
- Accept Edits 模式自动放行工作目录内的文件编辑与 mkdir、touch、rm、mv、cp、sed;其余命令与目录外路径仍要问您
- 沙箱化的 bash 工具提供文件系统与网络隔离,用 /sandbox 划边界
官方自己承认做不好的
- 官方写明:批准之前,您要自己复核它提出的代码和命令是否安全 —— 复核责任在使用者
- 提示词注入:官方写明,这些防护能显著降低风险,但没有任何系统能完全免疫所有攻击
- 对第三方 MCP 服务器:Anthropic 写明,它不对任何 MCP 服务器做安全审计,也不负责管理
OpenAI(Codex)3 条限制 · 3 条自认⌄
硬限制
- CLI 与 IDE 扩展默认无网络访问,写权限限定在当前工作区
- /review 只报告发现、不改动工作区,且要求项目在 Git 仓库内
- 带破坏性标注的 app / MCP 工具调用一律需要批准
官方自己承认做不好的
- 官方写明:安全监控不替代沙箱、权限设置或对结果的复核
- 开网络或网页搜索时:官方写明,提示词注入可能让智能体去取回并执行不可信的指令
- 官方写明:DNS 检查能降低 DNS 重绑定风险,但不能消除
Google(Gemini 代码执行)4 条限制 · 3 条自认⌄
硬限制
- 代码环境最长运行 30 秒
- 报错后模型可重新生成代码输出,最多 5 次
- 输入文件大小上限取决于模型的 token 窗口;对文本与 CSV 文件效果最好
- 预装库固定,官方写明不能自行安装第三方库;画图只支持 matplotlib
官方自己承认做不好的
- 官方写明:它只能生成和执行代码,不能返回媒体文件之类的其他产物
- 官方写明:某些情况下开启代码执行会让模型在其他方面变差(例如写故事)
- 官方写明:不同型号用好代码执行的能力有差异
02
编程最强的是哪几个
3 个专项评测的成绩,不是综合能力分
最强不等于最值 —— 每行都带价格。教程多拿海外模型演示,您手上用国产的,看每张表下方国内厂商排第几,就知道这类活差多少。
科研代码复现照科研论文里的方法写出能跑的代码,看能不能复现论文的结果。
| 模型 | 专项成绩 | 输入 / 输出(每百万 token) |
|---|---|---|
| 60.2 | ¥70 / ¥350 | |
| 58.9 | ¥14 / ¥84 | |
| 58.7 | ¥21 / ¥105 | |
| 58.2 | ¥8.75 / ¥29.8 | |
| 57.9 | ¥5.25 / ¥26.3 | |
| 56.9 | ¥35 / ¥210 | |
| 56.8 | ¥5.25 / ¥26.3 | |
| 56.6 | —— | |
| 56.5 | ¥9.80 / ¥30.8 | |
| 56.5 | ¥35 / ¥210 |
终端里干完一件事给一个真实的命令行环境和一个任务,看它能不能自己一步步做完。
| 模型 | 专项成绩 | 输入 / 输出(每百万 token) |
|---|---|---|
| 89.5 | ¥35 / ¥210 | |
| 89.1 | ¥35 / ¥175 | |
| 88.4 | ¥14 / ¥42 | |
| 88.0 | ¥35 / ¥175 | |
| 88.0 | ¥35 / ¥210 | |
| 88.0 | ¥14 / ¥84 | |
| 87.6 | ¥35 / ¥175 | |
| 87.3 | ¥35 / ¥210 | |
| 86.1 | ¥35 / ¥175 | |
| 86.1 | ¥35 / ¥210 |
竞赛编程题持续从竞赛平台抓新题来考,题目比模型的训练数据新,避免它背过答案。
| 模型 | 专项成绩 | 输入 / 输出(每百万 token) |
|---|---|---|
| 91.7 | ¥14 / ¥84 | |
| 90.8 | ¥3.50 / ¥21 | |
| 89.6 | —— | |
| 89.4 | ¥12.3 / ¥98 | |
| 89.4 | ¥4.20 / ¥15.4 | |
| 88.9 | ¥12.3 / ¥98 | |
| 87.8 | ¥1.05 / ¥4.20 | |
| 87.1 | ¥35 / ¥175 | |
| 86.8 | —— | |
| 86.2 | —— |
03
官方说 vs 实际上
独立测试和官方数字并排放,出处见来源清单
「每月 20 美元」「提效 X%」「SWE-bench 高分」,放进您自己的项目里都要打折。
| 官方说 | 独立测试 | 用户实际反馈 | 差在哪、为什么 |
|---|---|---|---|
| Cursor Pro 每月 20 美元,额度按 API 价计费 | 官方 2025 年 7 月发文道歉,承认沟通不清导致用户意外超支,并提供退款 | 未见可核的用户反馈 | 发布时没说清「无限」只限自动模式,用户按原来的习惯用,就超支了 |
| Claude Code 含在每月 20 美元的 Pro 里 | 官方 2025 年 8 月追加每周额度上限,称影响不到 5% 的订阅者 | 未见可核的用户反馈 | 长时间挂着跑任务的人用量远超典型用户,官方只能加限制 |
| 用 AI 写代码能明显提效 | METR 随机对照实验:资深开发者用 AI 的一组反而多花 19% 时间,而他们事前以为能快 24% | Stack Overflow 2025 调查:信任 AI 输出的比例从 40% 降到 29%,66% 的人说要花更多时间修「差不多对」的代码 | 看着对、细节错,审查和纠错的时间抵消了生成速度 |
| 代码生成量上去了 | GitClear:复制粘贴代码占比从 8.3% 升到 12.3%,重构占比从 25% 降到不足 10% | 未见可核的用户反馈 | 写得快的同时可维护性在降,长期返工没算进「提效」里 |
| 发布页引用 SWE-bench Verified 高分 | OpenAI 已停止用这个基准评估,称相当一部分「失败」其实是测试本身有缺陷(转述,未逐字核对) | 未见可核的用户反馈 | 题目来自特定开源仓库、可能被模型见过,分数不等于您项目里的表现 |
它确实能做到:任务边界清楚、改动小、有测试能兜底的活,生成速度的优势是真实的;老项目、大仓库里,省下的时间常被审查和返工吃掉。
04
这一页还缺什么
没采到的如实写,不放半截数字
国内厂商的编程类模型限制未采集。各家官方文档里都没有「编程不适合用在哪」的直接声明,上面列的是它们写明的权限边界与工具限制。
05
来源清单
9 条,全部是厂商官方文档
逐条摊开,每条附原文链接⌄
厂商官方文档 · 9 条
- https://code.claude.com/docs/en/security↗
- https://learn.chatgpt.com/docs/agent-approvals-security↗
- https://ai.google.dev/gemini-api/docs/code-execution↗
- https://cursor.com/blog/june-2025-pricing↗
- https://x.com/AnthropicAI/status/1949898502688903593↗
- https://metr.org/blog/2025-07-10-early-2025-ai-experienced-os-dev-study/↗
- https://stackoverflow.blog/2025/12/29/developers-remain-willing-but-reluctant-to-use-ai-the-2025-developer-survey-results-are-here/↗
- https://www.gitclear.com/ai_assistant_code_quality_2025_research↗
- https://openai.com/index/why-we-no-longer-evaluate-swe-bench-verified/↗
您该怎么办
别让它直接落到主分支:Anthropic 官方写明,批准之前,代码和命令是否安全由您自己复核,安全复核的责任在使用者。要算数、要跑数据的活,Google 建议开代码执行工具而不是让模型自己心算;联网与网页搜索一开,OpenAI 明确写了提示词注入的风险,先在沙箱里跑。