算力账本 / COMPUTE LEDGER
推理账 · INFERENCEEP 0401 / 20
纯技术科普 · 不喊单 · 不荐股 · 只算账

训练烧一次,
推理烧一辈子

商务部 17 项举措要让 AI 进千家万户。真正被点燃的不是再训几个大模型,是调用量爆炸。 训练像盖座脑子、盖完就完,是一次性的钱;推理却要天天烧。一屏一镜,算清这笔正在反转的账。

▸ 方向键 / 空格 / 点击翻页 · 右下角可“自动播放”
本期速览 · OVERVIEW

四个数,看懂这场成本反转

推理 vs 训练算力
5–10×
推理需求是训练的倍数
全国日均 Token
≈140万亿
次调用 / 天(2026-03)
H100 一年期租约
+40%
近半年现货租金上行
算力租赁规模
≈2600亿
2026 中国市场(预测)
这把火,点在了哪

一条消费政策,下游烧的是算力

商务部等八部门发布《加快“人工智能+消费”发展》的 17 项举措,要让 AI 手机、智能家居、人形机器人进千家万户。大多数解读都在写 C 端,但顺产业链往下游看一格——

🧾 AI 进了千家万户,意味着每天被调用的次数爆炸式增长,而每一次调用,烧的都是推理算力。这一端,才是这条政策真正的“耗电口”。

三十秒接上前几期

前四期铺垫,这期讲“持续烧”

  • EP01:算力 = 电;一张 GPU = 一台发电机;Token = 出租车跳表。
  • EP02:Token 单价在塌、用量在飙,“量价剪刀差”撑起总需求。
  • EP03:供给端“包租公”的回本账、毛利账,算清算力租赁怎么赚钱。
  • EP3.5:能耗账——一度电吐上千万 Token,推理要持续烧电。
  • 这一期 EP04:把“持续烧”讲透——训练是一次性 capex,推理是持续 opex,账正在反转。
一图看懂全文

两条曲线,藏着整场成本反转

蓝线是训练:一次性砸钱造脑,前期陡升、之后走平。橙线是推理:随调用量持续累加。两条线必有一个交点——过了它,推理累计就反超训练。

FIG.01训练(一次性) vs 推理(持续) · 累计花销
累计花销 ¥ 训练:一次性砸钱造脑 推理:每天烧钱干活 反转点:推理累计反超训练 使用时长 / 调用量 →
训练 vs 推理累计花销(示意趋势)· 盖脑子的钱花完就完,干活的电费要天天交——用得越多,反转来得越早
本期核心论点 · 01

训练的钱,花完就完了;推理的钱,要天天交。AI 越普及,烧钱的重心就越往“推理”这头滑。

COMPUTE LEDGER · EP04

💡 看懂这张图,全文就懂一半了。训练和推理不是“谁更贵”,而是两种完全不同形状的花钱方式:一个是建好就不动的固定资产,一个是随业务量水涨船高的运营开销。

训练这笔钱

训练像盖楼:砸一笔大的,盖完就完

C
Training · Capex · 一次性资本开支

训练 = 一次性把“脑子”造出来

训练成本“前重后轻”:开工时投入巨大(万卡集群、海量电力、数月工期),一旦模型练好、权重固定,这笔成本就不再增长。同一个模型给 100 人用还是 1 亿人用,训练花费是同一笔

💡 一句话理解:训练像盖一座桥。修桥时砸钱如流水,可桥一旦通车,再多车过桥也不用重修——建桥的钱,是一次性的。

🏗 所以“训练很贵”是有上限的:贵在一时,不贵在长久。真正没有上限、会随用户规模一起长大的,是下一段的推理

推理这笔钱

推理像水电:每开一次龙头,都在跳表

每一次提问、每一个智能体任务,都要让模型重新算一遍——这叫推理。它是持续、随用量累加的 opex,永远不会结清;而现在 AI 越来越爱“思考”,一次任务背后是几十上百次调用。

FIG.02一次调用的钱,烧在哪
把“一次调用的成本”拆开(示意结构) 输出 Token 生成 ~55% 输入 ~22% 输出 Token 生成(最贵,逐字算)~55% 输入 Token(读你的提问)~22% 上下文 / 历史重算(KV 缓存)~15% 系统调度 + 其他 ~8% 输出单价通常是输入的 3–5 倍
一次调用的成本构成(示意)· 对话越长、思考越多、上下文越大,单次越贵——而调用次数还在猛涨
为什么永远烧不完

推理的账单,乘了一个用户系数

推理“永远烧不完”的根源:它和业务量直接挂钩。训练的钱投一次见效一年,推理的钱每天都在重新发生。一条消费政策把上亿用户推到 AI 面前,训练侧基本没变,推理侧的账单却被乘上了一个巨大的用户系数

而且推理是动态成本,没法“包月”兜死:并发一上来,算力、电力、带宽立刻顶上去——这正是算力计费越来越按 Token、按用量,而不是固定买断的原因。

反转正在发生

算力的天平,正从训练倒向推理

这不是预测,是正在发生的事。业内普遍认为推理需求已是训练的 5–10 倍;2026 年 3 月,中国日均 Token 调用量约 140 万亿次,较 2024 年初涨千倍,同年 2 月周调用量首次超过美国

FIG.03推理 vs 训练 · 占总算力需求比例
占比 40% 2023 55% 2024 70% 2026 82% 2028E 推理 训练 趋势示意 · 2028 为预测区间
推理占总算力需求比例(示意趋势)· 训练占比在收缩,推理一路抬升——天平正倒向“天天用”的那头
政策与拐点

这条政策,正好踩在拐点上

📈 “AI 进千家万户”翻译成算力语言,就是把推理需求再往上抬一截。供给侧不缺训练能力,缺的是能稳定、低价、长期供应推理算力的产能。这也是下一段“宁租不买”的根。

落回生意

成本反转,把算力从“买断”逼向“租用”

当烧钱重心倒向推理,“先砸几个亿买断一批卡”越来越不划算——卡会贬值、用量会波动。于是越来越多人按需租、按用量付费、用长约锁价。需求传导很直接:推理顶上来,连 H100 一年期现货租金近半年都涨了约 40%

FIG.04H100 一年期租约价格 · 近半年
$/小时 2025.10 2025.12 2026.03 $1.70 $2.35 ≈ +40%
H100 一年期租约每小时价格(公开报道,示意)· 推理需求顶上来,连现货租金都被推高——反转最直接的价格信号
训练侧 vs 推理侧

两门生意,一目了然

看哪一头训练侧推理侧(今天的主战场)
花钱方式一次性 capex(盖脑子)持续 opex(天天干活)
成本随谁涨和模型大小挂钩,练完封顶和用户量 / 调用量挂钩,无上限
怎么算钱大额买断、整集群包断按 Token、按用量、按需弹性
合约形态阶段性采购长协锁价(多锁 3–5 年)锁产能
谁更卷少数大厂的军备竞赛全行业按需消费,盘子持续做大
本期核心论点 · 02

买断赌的是“用得满”,租用买的是“不踩空”。当账单跟着用量天天变,把固定大额换成弹性按需,反而是更稳的选择。

COMPUTE LEDGER · EP04

这也解释了为什么 2026 年算力租赁市场被机构看到约 2600 亿元规模、十亿/百亿级长协频现:买方要的不是“买一批卡”,而是“锁一段时间的、稳定可预测的推理产能”。当推理是持续开销,能用长约把单价和供给提前锁住的一方,才睡得着觉。

冷静一下

推理单价一直在跌,为什么总账还在涨

  • 杰文斯悖论(接 EP02):单价越降,越多人用得起 AI,用量涨得比价格跌得更快——总开销不降反升。降价是放量的起点,不是省钱的终点。
  • 推理也在拼命降本:低精度、KV 缓存、投机解码、蒸馏、国产卡(推理占比超 60%、定价低 20%–30%)……“推理烧钱”不等于“推理一定亏钱”,要看降本能否追上放量。
  • 利用率黑洞:企业 GPU 集群实际平均利用率只有 5%–14%。很多“成本高”其实是卡在空转——账单贵,未必真在干活。
  • 预测要打折:“5–10 倍”“2600 亿”“+40%”都是机构口径,会随口径、时点变化。看方向,别把某个数当铁板钉钉。

⚠️ 本质提醒:“反转”是结构性的(烧钱重心从训练挪向推理,很确定);但“推理一定是门好生意”并不确定,因为它同时被放量(往上推)和降价(往下压)两股力拉扯。别被单边叙事带走。

一页速查

这一期,六个点记牢

🏗
训练 = 一次性 capex
砸一笔大的把“脑子”造出来,练完封顶,不随用户量增长。
💧
推理 = 持续 opex
每次调用都在烧,和业务量挂钩,永远结不清。
🔀
推理累计会反超训练
用得越久越多,反超来得越早——这就是成本反转。
📈
推理 = 训练的 5–10 倍
占比逐年抬升;日均 Token 约 140 万亿次。
🔑
宁租不买、还签长约
弹性按需 + 长协锁价,比大额买断更抗波动。
🕳️
降价 + 放量在拔河
单价在跌、用量在飙,总账方向要看两股力谁更快。
三个最容易想拧的问题

训练推理谁更烧、政策啥关系、为什么租,一次说清

训练和推理,到底哪个更烧钱?
看时间维度。单看“开工那一下”,训练更猛、一次性砸进一大笔;但拉长到整个生命周期,推理持续累加,用户越多越久就会反超训练。越是“AI 真普及”的阶段,烧钱重心越往推理滑。
这条“AI+消费”政策,和算力有什么关系?
关系在下游。政策让 AI 进千家万户,C 端被点燃后调用量爆炸,每次调用烧的都是推理算力。所以政策表面讲手机、家居、机器人,往下游传导,落点是推理算力需求被抬升——这也是算力市场转向“按用量租、签长约”的背景。
既然推理这么烧钱,为什么不直接买卡,反而要租?
因为推理开销持续波动、卡又快速贬值。一次性买断赌的是“用量饱满 + 卡不掉价”,两条都不稳。按需租 + 长约锁价,把固定大额换成弹性开销,既能跟着业务量伸缩、又能提前锁单价和供给,对多数买方更稳。
📘 本文为 AI 技术与产业科普,文中图表多为示意、数据多为区间或机构预测,会随口径、时点变化,仅作通俗解释,可能存在简化或偏差,欢迎指正。涉及公司仅作模式举例,不评价股票、不构成任何投资建议
— END OF LEDGER · EP 04 —

会勇禾口王的AI笔记

算力账本 · COMPUTE LEDGER · EP04 · @huiyonghkw

🎁 微信搜 会勇禾口王的AI笔记,回复 工厂 领 AI 内容流水线手册