arXiv · cs.AI · Haiyu Wang, Sai Qian Zhang, Zechun Liu, Steven Li · 4 小时前模型评分38
HybridSpec：面向 GDN-MoE 混合模型的吞吐感知投机解码
HybridSpec: Throughput-Aware Speculative Decoding for Hybrid GDN-MoE Models
导读
HybridSpec 针对 GDN-MoE 混合模型提出吞吐感知的投机解码方法，在 图形处理器（GPU，Graphics Processing Unit） 上根据草稿侧接受率估计与实测目标延迟动态选择验证长度。
分类置信度
中 · 待人工复核
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
事件类型：研究发布
证据摘录
- “We present HybridSpec, which selects the verification length on the GPU from draft-side acceptance estimates and measured target latency.”
来源：arXiv · cs.AI · arxiv.org