跳到正文
arXiv · cs.AI · Yuzhe Liu, Haolin Tian, Tonghan Wang · 11 小时前模型评分39

ACCT：跨 大语言模型（LLM，Large Language Model） 非对称上下文迁移，KV 缓存缩减 75% 仍保持性能

ACCT: Asymmetric Cross-LLM Context Transfer

导读

研究者提出 ACCT（Asymmetric Cross-大语言模型（LLM，Large Language Model） Context Transfer，非对称跨大语言模型上下文迁移），把源模型的键值缓存（KV cache，Key-Value Cache）转换为目标模型可直接使用的稀疏 KV 状态，实现同系列不同规模模型间的上下文计算复用。

生成六维分析
分类置信度

中 · 待人工复核

  • 只有单一媒体来源，需要人工复核。

来源级别：媒体与个人

事件类型：研究发布

证据摘录

  • “Therefore, we propose ACCT (Asymmetric Cross-LLM Context Transfer), which targets KV cache transfer between models of different scales within the same model family.”
  • “Experiments show that ACCT matches or exceeds the target model's original inference performance even when reducing the KV cache size by 75%.”

来源：arXiv · cs.AI · arxiv.org

推理能力部署工程数据与训练论文研究#论文/研究#推理#部署/工程#数据/训练#arXiv