提出负载自适应投机解码框架 Uni-LaSpec

Hong Nie 等作者发布论文，提出面向视觉语言模型的块并行投机解码框架 Uni-LaSpec。据论文，该框架复用验证器注意力来选取少量视觉 token，并据此训练草稿模型，同时按图形处理器（GPU）负载动态选择验证结构。 作者称，该框架同时针对上述两方面因素。论文未给出与基线方法对比的加速或精度结果。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。