arXiv · cs.AI · Zhiqi Li, Bo Zhu · 8 小时前模型评分39
dKV Forcing：用可微 KV 缓存分离生成与记忆表示
dKV Forcing: Separating Generation and Memory Representations through a Differentiable KV Cache
导读
研究提出 dKV Forcing（dKV 指可微 KV），在共享主干上为写入方加低秩残差，把记忆写入与生成分开，并通过未来读取反传梯度训练。该方法用持久可微页替代训练时缓存，一次遍历即可算出完整记忆梯度，相比两遍重建减少 28% 常驻内存、缩短 20.8% 训练周期，生成器更新开销仅 7%。
分类置信度
中 · 待人工复核
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
事件类型：研究发布
证据摘录
- “We propose dKV Forcing (dKV denotes differentiable KV) to learn a dedicated memory representation from its future use”
来源：arXiv · cs.AI · arxiv.org