DAR按token距离分配KV维度压缩缓存

Zhiyuan Wang等作者发布论文，提出距离自适应表示（DAR）：在局部上下文窗口内保留全维度Key/Value，窗口外的token则降至原维度的1/2或1/4，以此压缩KV缓存。 作者称，在70M至410M参数的预训练以及1B模型的监督微调中，DAR性能接近全维度基线；而全局统一降维的效果更差。 作者还称，其高效实现在8K上下文下将平均KV缓存缩小68.8%，在评测模型上128K上下文解码最高提速1.9倍，模型质量与MLA基线相当。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。