arXiv · cs.AI · Jianchang Su, Dawei Xiang, Wei Zhang · 8 小时前模型评分43
FactorSpec:把精确关系约束当作投机草稿来加速 大语言模型(LLM,Large Language Model) 服务
FactorSpec: Serving Exact Relational Constraints as Speculative Drafts
导读
FactorSpec 将 JavaScript 对象表示法(JSON,JavaScript Object Notation) Schema 及其字段关系编译成因子图并做精确可行性检查,把约束能确定的 token 直接作为投机草稿,在 SGLang 中每次验证最多产出 10.5 个 token,比最快的 n-gram 草稿器高 1.9 倍,解码速度最高快 1.43 倍。
分类置信度
中 · 待人工复核
- 只有单一媒体来源,需要人工复核。
来源级别:媒体与个人
事件类型:研究发布
证据摘录
- “We present FactorSpec, which serves exact relational constraints as speculative drafts.”
来源:arXiv · cs.AI · arxiv.org