部署 › 私有化部署成本
私有化部署:自己在公司跑一个模型要多少钱
同样 50 人的用量,按量调 API 一年一千到三千元,最便宜的满血一体机光折旧就约 5 万元。十几万的「DeepSeek 一体机」如果装的是 7B 蒸馏版,编程能力比官网版本低近三成分数。
≈16 倍用量才打平一体机折旧28.3 分7B 蒸馏版编程落后满血版97%+4 位量化保留精度(7B 及以上)2026-09-15数据截至
01
一年各花多少
假设 50 人,每人每天 20 次,每次输入 2000、输出 1000 token
一体机褐蚁 HY90,14.9 万按 3 年折旧49,667 元
149,000 ÷ 3 · 另加电费、运维一体机国鑫 671B 满血版,69.9 万按 3 年折旧233,000 元
699,000 ÷ 3 · 另加电费、运维02
满血版和蒸馏版差多少
简单数学差得少,专业问答和编程差得多
| 模型 | MATH-500 简单数学 | GPQA 研究生级问答 | LiveCodeBench 编程 |
|---|---|---|---|
| 97.3 | 71.5 | 65.9 | |
| 94.5 | 65.2 | 57.5 | |
| 94.3 | 62.1 | 57.2 | |
| 93.9 | 59.1 | 53.1 | |
| 92.8 | 49.1 | 37.6 | |
| 83.9 | 33.8 | 16.9 |
03
官方给的硬件口径
开源权重的官方模型卡与部署文档
| 模型 | 参数量 | 要多少卡 |
|---|---|---|
| 671B,激活 37B | 原生 FP8,支持华为昇腾;具体卡数官方未说明 | |
| 355B,激活 32B | FP8 要 8 张 H100,全上下文 16 张 | |
| 235B,激活 22B | FP8 要 4 张 H20 96GB | |
| 106B,激活 12B | FP8 要 2 张 H100,全上下文 4 张 | |
| 32B | AWQ-INT4 占显存约 19GB,一张 24GB 显卡装得下 |
04
云上专属部署
阿里云百炼模型单元,北京地域
| 模型 | 规格 | 每小时 | 包月 |
|---|---|---|---|
| MU8 × 1 | ¥47 | ¥22,400 | |
| MU1 × 4 | ¥216 | ¥104,472 | |
| MU6 × 16 | ¥400 | ¥193,424 | |
| MU1 × 8 | ¥432 | ¥208,944 | |
| MU2 × 8 | ¥504 | ¥240,288 | |
| MU2 × 16 | ¥1008 | ¥480,576 |
05
常见问题
答案出自上面的官方数字与独立测试
几十人的公司自己部署划得来吗?⌄
先问两件事:数据是不是确实不能出公司,用量能不能撑满机器。按本页假设的 50 人用量,API 一年约 1 千到 3 千元,最便宜的满血一体机光折旧一年就约 5 万元。
十几万的 DeepSeek 一体机,跑的是官网那个 DeepSeek 吗?⌄
不一定。「DeepSeek」可以指 671B 满血版,也可以指 7B、1.5B 的蒸馏版。官方模型卡里,7B 蒸馏版在研究生级问答上比满血版低 22.4 分,编程低 28.3 分。
量化版会不会变笨?⌄
Red Hat 的测试里,8 位量化几乎无损;4 位量化在 7B 及以上保留 97% 以上精度,1.5B 约 94%。
不想买机器,能不能只要一台专属的?⌄
可以租。阿里云百炼专属部署按小时计费,Qwen3.5-27B 每小时 47 元,包月 22,400 元,先租一个月试。
06
没采到的
照三态写清楚
还有 7 项没采到⌄
- · 一体机年电费、机房、运维人力 —— 未采集,一年账只算到折旧
- · 褐蚁、国鑫、商汤一体机的官方定价页 —— 厂商未挂价,价格来自媒体
- · 百炼每个模型单元能撑多少并发 —— 官方未说明,所以算不出专属部署每人每月多少钱
- · 腾讯云 HAI 各套餐小时价 —— 需登录
- · 火山方舟推理专属模型单元单价 —— 未采集
- · 1.58bit、2bit 极限量化的独立精度测试 —— 未采集
- · 具名中小企业自建复盘、一体机买回去闲置的具名报道 —— 未采集
07
来源清单
15 条:官方文档 9 条 · 独立测试 3 条 · 媒体报道 3 条
逐条摊开,每条附原文链接⌄
官方模型卡、定价与计费文档 · 9 条
- https://huggingface.co/deepseek-ai/DeepSeek-R1↗
- https://github.com/deepseek-ai/DeepSeek-V3↗
- https://api-docs.deepseek.com/zh-cn/quick_start/pricing↗
- https://qwen.readthedocs.io/en/latest/getting_started/speed_benchmark.html↗
- https://github.com/zai-org/GLM-4.5↗
- https://huggingface.co/moonshotai/Kimi-K2-Instruct↗
- https://help.aliyun.com/zh/model-studio/model-training-and-deployment-billing↗
- https://help.aliyun.com/zh/model-studio/model-pricing↗
- https://cloud.tencent.com/document/product/1721/101029↗
独立测试 · 3 条