arXiv · cs.AI · Swapnil Gandhi, Siva Kumar Sastry Hari, William J. Dally, Christos Kozyrakis2026-11-03 13:00 · 7 小时前模型评分47

帕累托自适应压缩（PACE，Pareto-Adaptive Compression for Efficient Native MLLMs）：为大语言模型（LLM，Large Language Model）服务中的分支并行按步控制宽度

Pacing Branch Parallelism in LLM Serving

导读

研究提出帕累托自适应压缩（PACE，Pareto-Adaptive Compression for Efficient Native MLLMs），一种按解码步控制分支并行的准入控制器，只在预测的分支外部性落在批次当前余量预算内时才接纳额外分支。

分类置信度

中 · 待人工复核

来源级别：媒体与个人

事件类型：研究发布

证据摘录

“We introduce PACE, a per-step admission controller that treats extra branches as opportunistic width, admitted only when the predicted branch externality fits within the batch's current slack budget.”
“Code is available at this https URL”

来源：arXiv · cs.AI · arxiv.org

帕累托自适应压缩（PACE，Pareto-Adaptive Compression for Efficient Native MLLMs）：为 大语言模型（LLM，Large Language Model） 服务中的分支并行按步控制宽度