arXiv · cs.AI · Xingyu Qu, Siyuan Lu, Zhiyu Chen, Sheng Wang, Tao Lin · 5 小时前模型评分41
CacheBridge：面向多模型 大语言模型（LLM，Large Language Model） 服务的高效跨模型 KV 传输
CacheBridge: Efficient Cross-Model KV Transfer for Multi-Model LLM Serving
导读
CacheBridge 是一个通过跨模型 KV 缓存传输加速异构多模型 大语言模型（LLM，Large Language Model） 服务的系统，可避免模型切换时目标模型重新预填充历史。
分类置信度
中 · 待人工复核
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
事件类型：研究发布
证据摘录
- “We present CacheBridge, the first serving system to accelerate heterogeneous multi-model workloads through cross-model KV transfer.”
来源：arXiv · cs.AI · arxiv.org