arXiv · cs.AI · Hiari Pizzini Cavagna, Andrea Proia, Daniele Cesarini, Zeynep Kiziltan, Andrea Bartolini · 8 小时前模型评分57
论文提出 SIMPLE 定律，用四参数预测大模型推理能耗
The SIMPLE Law for Energy Cost of LLM Inference
导读
论文提出 SIMPLE 定律（SIMPLE Inference Model to Predict LLMs Energy），用四个参数分别刻画预填充、解码中的 KV-cache 开销和下一 token 计算，无需针对单个模型校准。
分类置信度
中 · 待人工复核
- 存在未解决的相邻类别：compute-hardware，需要人工复核。
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
应用领域：能源
事件类型：研究发布
证据摘录
- “From these, we obtain the SIMPLE Inference Model to Predict LLMs Energy (SIMPLE), a four-parameter law that separates prefill from decode, and decode into KV-cache cost and next-token computation.”
- “Over traces of 13 dense LLMs from six families on NVIDIA H100 GPUs, it attains R2 = 0.969 and 11.97% MAPE, 3.1-3.5x below the SOTA, without per-LLM calibration.”
来源：arXiv · cs.AI · arxiv.org