arXiv · cs.AI · Lixun Zhang, Zishan Shao, Kangning Cui, Yu Liang, Fan Yang, Yiran Chen · 10 小时前模型评分41
BasisKV：面向通信与键路由的值潜变量方法
BasisKV: Value Latents for Communication and Key Routing
导读
BasisKV 提出一种面向长上下文大语言模型（LLM，Large Language Model）推理的低秩 KV-cache 压缩方法，在 8 卡张量并行下实现最高 1.42 倍端到端加速。
分类置信度
中 · 待人工复核
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
事件类型：研究发布
证据摘录
- “Based on these observations, we propose BasisKV, a low-rank KV-cache compression method for communication-intensive, long-context LLM inference.”
- “Our code is available at this https URL”
来源：arXiv · cs.AI · arxiv.org