arXiv · cs.AI · Zhenghao Li, Shengbo Wang, Nian Si · 4 小时前模型评分36
内存约束下 大语言模型（LLM，Large Language Model） 推理调度的 cμ 规则渐近最优性研究
Asymptotic Optimality of $c\mu$-Rule for LLM Inference Scheduling under Memory Constraint
导读
研究提出一种面向大语言模型（LLM，Large Language Model）推理的 cμ 优先级调度规则，其有效服务率由计算速度、内存带宽和 KV 缓存容量共同决定。论文证明该规则在流体模型中最小化累积持有成本，并在有限负载下最小化完成时间、最大化输出 token 吞吐。在 NVIDIA H800 上的真实推理引擎实验中，该规则相比现有调度策略显著降低平均延迟并保持高吞吐。
分类置信度
中 · 待人工复核
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
事件类型：研究发布
证据摘录
- “We prove that this rule minimizes cumulative holding cost in the fluid model and, for a finite workload, also minimizes completion time and maximizes full-run output-token throughput.”
来源：arXiv · cs.AI · arxiv.org