我们习惯了按 Token 谈大模型成本：每百万 Token 多少钱、缓存命中省几成、长上下文怎么加价。
但 GPU 不是按“字”结账的。它按时间耗电，按显存搬运量耗电，按一次推理窗口里的真实工作量耗电。
最近一篇论文《The Token-Energy Law of LLM Decode》做了一个很干净的事：把“每个输出 Token 的能耗”拆成两个可解释维度——活跃字节和真实解码时间，并在 Hopper、Blackwell 上把预测误差压到 3.73% 以内。
结论不难，但很反直觉：Token 单价下降，不代表系统真的更省电。
一、先说人话版：解码阶段像“翻书”
大模型生成回答分两段。
第一段叫 Prefill，一次性读完你的输入，算力密集，时间短、功耗高。
第二段叫 Decode，逐字往外吐。每吐一个 Token，都要把模型权重从显存里读一遍，再读一遍越来越长的 KV Cache（历史记忆）。
Decode 的瓶颈往往不是“算得慢”，而是“书太厚、翻得太慢”——受限于显存带宽。
所以每生成一个 Token，GPU 实际在做两件事：
一是读共享权重，这本“参考书”同一批请求可以一起翻；
二是读私有历史，每个用户自己的对话越长，草稿纸越厚，没法完全拼车。
论文把这两类“逻辑字节需求”分开算，再叠上真实耗时，就得到了 Token-Energy Law。
二、Token-Energy Law：能耗不是黑箱
论文的核心是一个仿射形式：
每 Token 能耗 ≈ 权重相关项 + KV 相关项 + 时间相关项
其中两个关键坐标：
活跃字节（Active Bytes）= 每个输出 Token 要搬的逻辑数据量
• 共享权重字节：一次解码迭代里大家共用
• 私有 KV 字节：每个请求自己的历史，随上下文变长而变大
真实解码时间（Realized Decode Time）= 解码总时长 ÷ 输出 Token 数
它解释了两件工程上很重要的事：
批处理为什么省电：多人共用一次权重读取，共享字节被摊薄，人均能耗下降。
长上下文为什么贵：KV 历史变长，私有字节上涨，带宽压力直接转成电费。
实验覆盖 Qwen2.5-7B、Qwen2.5-14B、Mistral-7B 等模型，BF16 解码，Hopper 与 Blackwell，包括双卡张量并行。用固定系数加观测解码时间，留出条件均值预测与实测最大误差不超过 3.73%。
三、三个反直觉结论
1. J/token 下降，不等于总能耗下降
这就像打车：起步价固定，路程越长，摊到每公里越便宜，但总车费一定更高。
推理也是这样：
• 固定成本：模型驻留、Kernel 启动、Prefill、同步
• 边际成本：每多生成一个 Token 的权重读取 + KV 访问
所以“每 Token 更省”可能只是把固定成本摊薄了，总电表还在继续转。
2. 批处理能省电，但长上下文会吃掉收益
并发高的时候，一张卡同时服务多个请求，共享权重被充分复用，单 Token 能耗明显下降。
但上下文一长，KV Cache 变大，每一步都要搬更多私有数据。
短上下文时 Batch 从 1 提到 16，可能带来数倍能效收益；上下文拉到 4K 以上，收益会明显收缩。也就是说：长上下文不是“免费记忆”，它直接吃掉批处理的节能空间。
3. 思考越长，不一定更聪明，但一定更费电
“深度思考”模型多生成的推理 Token，每一步都要重新读权重、读历史。
论文指向一个很实用的点：思考预算要按任务调。更多推理 Token 不必然带来更高准确率，但一定会把解码时间和 KV 访问量堆上去。
对业务来说，不是“想得越久越好”，而是“想够用就好”。
四、这对做 AI 应用的人意味着什么
如果你在跑大模型服务，真正该盯的不是单个 J/token，而是这组指标：
• 一次请求总能耗（Request Energy）
• 每 Token 能耗（J/token）
• 吞吐（Token/s）
• 每焦耳有效产出（Utility/J）
• 批处理密度与上下文长度的匹配度
工程上可以马上做的几件事：
第一，别来一条处理一条。连续批处理、凑够有效并发，再发解码任务。
第二，长上下文单独核算。不要把 128K 上下文和 2K 上下文放在同一个 Token 单价里看。
第三，给“思考模型”设预算。简单任务短思考，复杂任务再放开。
第四，调度器要感知电。不是只盯 GPU 利用率，而是把“字节搬运量 + 解码时间”作为调度变量。
五、一个小判断
未来大模型服务的竞争，不只是“谁更聪明”，也是“谁更会省电”。
Token 是商业计量单位，字节和时间是物理成本单位。
论文的价值在于：它没把能耗做成玄学，而是给了可测量、可预测、可优化的坐标。
当 AI 调用量从千亿涨到百万亿级别，单 Token 那几毫焦的差别，乘上规模就是一座数据中心的电费。
论文链接：https://arxiv.org/abs/2610.28576(https://arxiv.org/abs/2610.28576)
参考文献：
Niu C, Sencer B, Zhang W, Chen Y. The Token-Energy Law of LLM Decode: Active Bytes and Realized Time Account for Joules per Token. arXiv:2610.28576, 2026.
