arXiv · cs.AI · Abhishek Malvankar, Paul Castro, Nick Mitchell · 12 小时前模型评分45
TableTune：为动态投机解码测量并自我校正草稿长度表
TableTune: Measured, Self-Correcting Draft-Length Tables for Dynamic Speculative Decoding
导读
TableTune 通过在实际 vLLM 服务路径上测量每个批大小与草稿长度的解码耗时，几分钟内算出吞吐最优的草稿长度表，并用 vLLM 插件在服务中根据实时接受的猜测数重建该表。
分类置信度
中 · 待人工复核
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
事件类型：研究发布
证据摘录
- “We present TableTune.”
来源：arXiv · cs.AI · arxiv.org