跳到正文
热点事件持续更新

ACCT:同族跨规模模型间迁移KV缓存

1 篇报道1 个报道来源10 小时前更新

先了解这件事

AI 综述

Yuzhe Liu、Haolin Tian、Tonghan Wang 提出 ACCT,将同系列不同规模源模型的 KV 缓存转换为目标模型可直接使用的稀疏 KV 状态,以复用上下文计算。 论文称实验显示,在 KV 缓存缩减 75% 时,ACCT 可达到或超过目标模型原推理性能;在约 1.9 万 token 上下文中,其 KV 转换相对目标模型上下文预填充加速 6.5–21.2 倍。

AI 根据报道生成 · 3 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月2日
  1. arXiv · cs.AI
    ACCT:跨 大语言模型(LLM,Large Language Model) 非对称上下文迁移,KV 缓存缩减 75% 仍保持性能

    研究者提出 ACCT(Asymmetric Cross-大语言模型(LLM,Large Language Model) Context Transfer,非对称跨大语言模型上下文迁移),把源模型的键值缓存(KV cache,Key-Value Cache)转换为目标模型可直接使用的稀疏 KV 状态,实现同系列不同规模模型间的上下文计算复用。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。