中文 定位:一篇研究大模型推理能耗规律的论文,提出所谓的 SIMPLE 法则:token 不是等价的,越靠后的 token 越贵。 生成式 AI 按 token 计费,但每个 token 的真实成本并不相同:每个 token 都会进入 KV 缓存,并抬高后续所有 token 的处理成本,因此一条序列的能耗会随着长度非线性增长,看起来一模一样的 token,能耗却越往后越高。这篇论文试图把这种增长刻画成一条可用的规律(SIMPLE Law),为估算和优化 LLM 推理的能源成本提供依据。 适用人群:从事大模型推理优化与系统研究的科研人员、关注推理成本与数据中心能耗的工程师。
日本語 位置づけ:大規模モデルの推論にかかるエネルギーコストの法則を研究する論文で、SIMPLE 法則を提案します。トークンは等価ではなく、後ろのトークンほど高くつく、というのが要点です。 生成 AI はトークン単位で課金されますが、各トークンの実際のコストは一様ではありません。各トークンは KV キャッシュに入り、後続のすべてのトークンの処理コストを引き上げるため、シーケンスのエネルギー消費は長さに対して非線形に増大します。見た目は同じトークンでも、後ろに位置するほど消費エネルギーが大きくなります。本論文はこの増大を扱いやすい法則(SIMPLE Law)として定式化し、LLM 推論のエネルギーコストを見積もり最適化する根拠を提供しようとするものです。 対象ユーザー:大規模モデルの推論最適化やシステムを研究する研究者、推論コストやデータセンターのエネルギー消費に関心のあるエンジニア。
한국어 정의: 대규모 모델 추론의 에너지 비용 법칙을 연구한 논문으로, SIMPLE 법칙을 제안합니다. 핵심은 토큰이 등가가 아니며 뒤쪽 토큰일수록 더 비싸다는 점입니다. 생성형 AI는 토큰 단위로 과금되지만 각 토큰의 실제 비용은 균일하지 않습니다. 각 토큰은 KV 캐시에 들어가 뒤에 오는 모든 토큰의 처리 비용을 끌어올리기 때문에, 시퀀스의 에너지 소비는 길이에 따라 비선형적으로 증가합니다. 겉보기엔 똑같은 토큰이라도 뒤에 위치할수록 에너지가 더 듭니다. 이 논문은 이러한 증가를 다룰 수 있는 법칙(SIMPLE Law)으로 정식화해, LLM 추론의 에너지 비용을 추정하고 최적화하는 근거를 제공하려 합니다. 대상 사용자: 대규모 모델의 추론 최적화와 시스템을 연구하는 연구자, 추론 비용과 데이터센터 에너지 소비에 관심 있는 엔지니어.
English What it is: A paper on the energy cost of LLM inference, proposing the SIMPLE law — tokens are not equally expensive, and later tokens cost more. Generative AI is billed per token, yet the real cost of each token is not uniform: every token enters the KV-cache and raises the processing cost of all tokens that follow, so a sequence's energy consumption grows non-linearly with its length. Tokens that look identical can cost increasingly more energy the later they appear. The paper formulates this growth as a usable law (the SIMPLE law), providing a basis for estimating and optimizing the energy cost of LLM inference. Who it's for: Researchers in LLM inference optimization and systems, and engineers concerned with inference cost and data-center energy use.