跳到正文
arXiv · cs.AI · Hengrui Zhang, Xupeng Miao · 5 小时前模型评分32

SeqoFlow:面向语义查询服务的运行时动态性调度框架

Navigating Runtime Dynamism in Semantic Query Serving

导读

SeqoFlow 是一个运行时框架,可同时调整查询计划并调度并发的语义查询,以应对查询间动态到达与查询内批次差异带来的双重运行时动态性。它枚举保持等价性的计划替代方案、把查询拆成细粒度单元以支持批次边界上的计划调整与抢占,并用轻量推测性估算获取运行时开销,从而把查询优化与大语言模型推理衔接起来。

分类置信度

中 · 待人工复核

  • 只有单一媒体来源,需要人工复核。

来源级别:媒体与个人

事件类型:研究发布

证据摘录

  • “We present SeqoFlow, a runtime framework that jointly adapts query plans and schedules concurrent semantic queries.”

来源:arXiv · cs.AI · arxiv.org