arXiv · cs.AI · Shahriar Kabir Nahin, Xiao Ye, Muhao Chen, Ben Zhou, Anshuman Chhabra · 12 小时前模型评分34
T2D：从目标模型剪枝构建草稿模型，加速投机解码
T2D: Target-to-Draft Model Pruning & Adaptation for Efficient Speculative Decoding
导读
研究者提出 T2D 框架，直接从目标模型出发，用延迟感知的结构化剪枝和知识蒸馏构建草稿模型，让草稿模型在推理延迟与目标模型响应上的交叉熵损失之间联合优化。实验显示 T2D 最多剪掉目标模型 92% 的参数即可得到高性能草稿模型，且产出的草稿模型可被其他投机解码方法即插即用。
分类置信度
中 · 待人工复核
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
事件类型：研究发布
证据摘录
- “To address this gap, we formulate draft model design as an optimization problem and propose T2D, a framework that constructs draft models directly from the target model using latency-aware structured pruning and knowledge distillation.”
来源：arXiv · cs.AI · arxiv.org