arXiv · cs.AI · Hengrui Zhang, Xupeng Miao · 5 小时前模型评分32
SeqoFlow:面向语义查询服务的运行时动态性调度框架
Navigating Runtime Dynamism in Semantic Query Serving
导读
SeqoFlow 是一个运行时框架,可同时调整查询计划并调度并发的语义查询,以应对查询间动态到达与查询内批次差异带来的双重运行时动态性。它枚举保持等价性的计划替代方案、把查询拆成细粒度单元以支持批次边界上的计划调整与抢占,并用轻量推测性估算获取运行时开销,从而把查询优化与大语言模型推理衔接起来。
分类置信度
中 · 待人工复核
- 只有单一媒体来源,需要人工复核。
来源级别:媒体与个人
事件类型:研究发布
证据摘录
- “We present SeqoFlow, a runtime framework that jointly adapts query plans and schedules concurrent semantic queries.”
来源:arXiv · cs.AI · arxiv.org