跳到正文
arXiv · cs.AI · Jianchang Su, Dawei Xiang, Wei Zhang · 8 小时前模型评分43

FactorSpec:把精确关系约束当作投机草稿来加速 大语言模型(LLM,Large Language Model) 服务

FactorSpec: Serving Exact Relational Constraints as Speculative Drafts

导读

FactorSpec 将 JavaScript 对象表示法(JSON,JavaScript Object Notation) Schema 及其字段关系编译成因子图并做精确可行性检查,把约束能确定的 token 直接作为投机草稿,在 SGLang 中每次验证最多产出 10.5 个 token,比最快的 n-gram 草稿器高 1.9 倍,解码速度最高快 1.43 倍。

生成六维分析
分类置信度

中 · 待人工复核

  • 只有单一媒体来源,需要人工复核。

来源级别:媒体与个人

事件类型:研究发布

证据摘录

  • “We present FactorSpec, which serves exact relational constraints as speculative drafts.”

来源:arXiv · cs.AI · arxiv.org