部署 › 私有化部署成本

私有化部署:自己在公司跑一个模型要多少钱

同样 50 人的用量,按量调 API 一年一千到三千元,最便宜的满血一体机光折旧就约 5 万元。十几万的「DeepSeek 一体机」如果装的是 7B 蒸馏版,编程能力比官网版本低近三成分数。

≈16 倍用量才打平一体机折旧28.3 分7B 蒸馏版编程落后满血版97%+4 位量化保留精度(7B 及以上)2026-09-15数据截至
01

一年各花多少

假设 50 人,每人每天 20 次,每次输入 2000、输出 1000 token

百炼 DeepSeek-V4-Flash 按量1,056 元
(44×1 + 22×2) × 12
DeepSeek 官方 flash,全按高峰价3,168 元
(44×2 + 22×8) × 12
一体机褐蚁 HY90,14.9 万按 3 年折旧49,667 元
149,000 ÷ 3 · 另加电费、运维
一体机国鑫 671B 满血版,69.9 万按 3 年折旧233,000 元
699,000 ÷ 3 · 另加电费、运维
百炼专属部署 Qwen3.5-27B,包月268,800 元
22,400 × 12
API 单价按元 / 百万 token;用量为假设值,代入您自己的数。一体机价格为媒体报道 · 2026-09-15
02

满血版和蒸馏版差多少

简单数学差得少,专业问答和编程差得多

模型MATH-500 简单数学GPQA 研究生级问答LiveCodeBench 编程
DeepSeek-R1 满血 671B97.371.565.9
Distill-Llama-70B94.565.257.5
Distill-Qwen-32B94.362.157.2
Distill-Qwen-14B93.959.153.1
Distill-Qwen-7B92.849.137.6
Distill-Qwen-1.5B83.933.816.9
DeepSeek-R1 模型卡官方评测(厂商自述)。量化另见常见问题 · 2026-09-15
03

官方给的硬件口径

开源权重的官方模型卡与部署文档

模型参数量要多少卡
DeepSeek-R1 / V3671B,激活 37B原生 FP8,支持华为昇腾;具体卡数官方未说明
GLM-4.5355B,激活 32BFP8 要 8 张 H100,全上下文 16 张
Qwen3-235B-A22B235B,激活 22BFP8 要 4 张 H20 96GB
GLM-4.5-Air106B,激活 12BFP8 要 2 张 H100,全上下文 4 张
Qwen3-32B32BAWQ-INT4 占显存约 19GB,一张 24GB 显卡装得下
低价跑满血也能跑,但慢:KTransformers 官方测试机用 1 张 4090D 加 1TB 内存,每秒解码 13.9 token · 2026-09-15
04

云上专属部署

阿里云百炼模型单元,北京地域

模型规格每小时包月
Qwen3.5-27BMU8 × 1¥47¥22,400
Qwen3-235B-A22BMU1 × 4¥216¥104,472
Qwen3-32BMU6 × 16¥400¥193,424
DeepSeek-v4-FlashMU1 × 8¥432¥208,944
GLM-5.1MU2 × 8¥504¥240,288
DeepSeek-v3.2MU2 × 16¥1008¥480,576
费用 = 使用小时 × 模型单元数 × 单价;每个单元撑多少并发官方未说明。阿里云百炼帮助中心 · 2026-09-15
05

常见问题

答案出自上面的官方数字与独立测试

几十人的公司自己部署划得来吗?⌄

先问两件事:数据是不是确实不能出公司,用量能不能撑满机器。按本页假设的 50 人用量,API 一年约 1 千到 3 千元,最便宜的满血一体机光折旧一年就约 5 万元。

十几万的 DeepSeek 一体机,跑的是官网那个 DeepSeek 吗?⌄

不一定。「DeepSeek」可以指 671B 满血版,也可以指 7B、1.5B 的蒸馏版。官方模型卡里,7B 蒸馏版在研究生级问答上比满血版低 22.4 分,编程低 28.3 分。

量化版会不会变笨?⌄

Red Hat 的测试里,8 位量化几乎无损;4 位量化在 7B 及以上保留 97% 以上精度,1.5B 约 94%。

不想买机器,能不能只要一台专属的?⌄

可以租。阿里云百炼专属部署按小时计费,Qwen3.5-27B 每小时 47 元,包月 22,400 元,先租一个月试。

06

没采到的

照三态写清楚

还有 7 项没采到⌄
  • · 一体机年电费、机房、运维人力 —— 未采集,一年账只算到折旧
  • · 褐蚁、国鑫、商汤一体机的官方定价页 —— 厂商未挂价,价格来自媒体
  • · 百炼每个模型单元能撑多少并发 —— 官方未说明,所以算不出专属部署每人每月多少钱
  • · 腾讯云 HAI 各套餐小时价 —— 需登录
  • · 火山方舟推理专属模型单元单价 —— 未采集
  • · 1.58bit、2bit 极限量化的独立精度测试 —— 未采集
  • · 具名中小企业自建复盘、一体机买回去闲置的具名报道 —— 未采集
07

来源清单

15 条:官方文档 9 条 · 独立测试 3 条 · 媒体报道 3 条

逐条摊开,每条附原文链接⌄

您该怎么办

数据不是非留在公司不可,就先用 API。确实要买一体机,让厂商书面写明三件事:模型全名、精度位数、给定上下文下的首字时间和并发人数。

付款前拿公司自己的 20 道真实问题,在官网和一体机上各跑一遍。部署前的条款风险见装之前先问清楚,想找人代为部署可以去人工援助。