arXiv · cs.AI · Hong Nie, Zhangchi Gao, Yuqian Liang, Jun Yu, Bo Wang, Jianqing Sun, Shengping Liu · 10 小时前模型评分40
Uni-LaSpec：面向视觉语言模型负载自适应的投机解码框架
Seeing What Matters, Verifying What Pays: Load-Adaptive Speculative Decoding for Vision-Language Models
导读
Uni-LaSpec 提出一种块并行投机解码框架，通过复用验证器注意力选取少量视觉 token 并训练草稿模型，同时按 图形处理器（GPU，Graphics Processing Unit） 负载动态选择验证结构。
分类置信度
中 · 待人工复核
- 存在未解决的相邻类别：ai-tooling，需要人工复核。
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
事件类型：研究发布
证据摘录
- “We present Uni-LaSpec, a block-parallel speculative decoding framework that addresses both factors.”
来源：arXiv · cs.AI · arxiv.org