提出LLM推理调度的cμ规则并证明渐近最优
热点事件持续更新
提出LLM推理调度的cμ规则并证明渐近最优
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
Zhenghao Li、Shengbo Wang、Nian Si 发表论文，提出一种面向大语言模型推理的 cμ 优先级调度规则：任务的有效服务率由计算速度、内存带宽和 KV 缓存容量共同决定。 作者称已证明该规则在流体模型中最小化累积持有成本，并在负载有限时最小化完成时间、最大化整轮输出 token 吞吐。在 NVIDIA H800 上的真实推理引擎实验中，该规则相比现有调度策略降低了平均延迟，同时保持高吞吐；上述最优性与实验结论均为论文作者的说法。 这项工作的适用范围是受内存约束的 LLM 推理调度，其性能主张来自流体模型证明与 H800 单平台实验。
AI 根据报道生成 · 2 小时前更新
最新进展11月4日 13:00
内存约束下 大语言模型（LLM，Large Language Model） 推理调度的 cμ 规则渐近最优性研究报道时间线
沿着报道，了解事件的不同侧面。
11月4日
- arXiv · cs.AI内存约束下 大语言模型（LLM，Large Language Model） 推理调度的 cμ 规则渐近最优性研究
研究提出一种面向大语言模型（LLM，Large Language Model）推理的 cμ 优先级调度规则，其有效服务率由计算速度、内存带宽和 KV 缓存容量共同决定。论文证明该规则在流体模型中最小化累积持有成本，并在有限负载下最小化完成时间、最大化输出 token 吞吐。在 NVIDIA H800 上的真实推理引擎实验中，该规则相比现有调度策略显著降低平均延迟并保持高吞吐。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。