热点事件持续更新

CacheBridge：跨模型KV缓存传输系统

1 篇报道1 个报道来源4 小时前更新

先了解这件事

AI 综述

Xingyu Qu 等作者发布论文，提出跨模型 KV 缓存传输服务系统 CacheBridge，目标是加速异构多模型大语言模型服务。论文称，该系统可在模型切换时将 KV 缓存从源模型传给目标模型，避免目标模型重新预填充历史；作者称其为首个通过跨模型 KV 传输加速异构多模型负载的服务系统。

AI 根据报道生成 · 4 小时前更新

沿着报道，了解事件的不同侧面。

11月4日

13:00
arXiv · cs.AI
CacheBridge：面向多模型大语言模型（LLM，Large Language Model）服务的高效跨模型 KV 传输
CacheBridge 是一个通过跨模型 KV 缓存传输加速异构多模型大语言模型（LLM，Large Language Model）服务的系统，可避免模型切换时目标模型重新预填充历史。

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。