ACCT:同族跨规模模型间迁移KV缓存
热点事件持续更新
ACCT:同族跨规模模型间迁移KV缓存
1 篇报道1 个报道来源10 小时前更新
先了解这件事
AI 综述
Yuzhe Liu、Haolin Tian、Tonghan Wang 提出 ACCT,将同系列不同规模源模型的 KV 缓存转换为目标模型可直接使用的稀疏 KV 状态,以复用上下文计算。 论文称实验显示,在 KV 缓存缩减 75% 时,ACCT 可达到或超过目标模型原推理性能;在约 1.9 万 token 上下文中,其 KV 转换相对目标模型上下文预填充加速 6.5–21.2 倍。
AI 根据报道生成 · 3 小时前更新
报道时间线
沿着报道,了解事件的不同侧面。
11月2日
- arXiv · cs.AIACCT:跨 大语言模型(LLM,Large Language Model) 非对称上下文迁移,KV 缓存缩减 75% 仍保持性能
研究者提出 ACCT(Asymmetric Cross-大语言模型(LLM,Large Language Model) Context Transfer,非对称跨大语言模型上下文迁移),把源模型的键值缓存(KV cache,Key-Value Cache)转换为目标模型可直接使用的稀疏 KV 状态,实现同系列不同规模模型间的上下文计算复用。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。