The SIMPLE Law for Energy Cost of LLM Inference 封面
HuggingFace
论文2026-11-0…

The SIMPLE Law for Energy Cost of LLM Inference

Generative AI is billed per token, yet tokens are not equally expensive. Each token enters the KV-cache and raises the cost of those that follow, so energy grows non-linearly along a sequence whose tokens look identical…

来源:HuggingFace Papers收录于 2026年11月6日

站内导读

中文

定位:一篇研究大模型推理能耗规律的论文,提出所谓的 SIMPLE 法则:token 不是等价的,越靠后的 token 越贵。 生成式 AI 按 token 计费,但每个 token 的真实成本并不相同:每个 token 都会进入 KV 缓存,并抬高后续所有 token 的处理成本,因此一条序列的能耗会随着长度非线性增长,看起来一模一样的 token,能耗却越往后越高。这篇论文试图把这种增长刻画成一条可用的规律(SIMPLE Law),为估算和优化 LLM 推理的能源成本提供依据。 适用人群:从事大模型推理优化与系统研究的科研人员、关注推理成本与数据中心能耗的工程师。

相关项目 · HuggingFace

查看全部「HuggingFace」项目 →