arXiv · cs.AI · Jinhao Zhang, Zicheng Yan, Boyang Zhang, Zeyu Liu, Daning Cheng, Yunquan Zhang, Guangming Tan, Xiang Gao · 9 小时前模型评分42
PrismServe：异构加速器集群上的高效 大语言模型（LLM，Large Language Model） 服务系统
PrismServe: Efficient LLM Serving on Heterogeneous Accelerator Clusters
导读
PrismServe 是一个在异构加速器集群上高效服务大语言模型（LLM，Large Language Model）的系统，它把同一基础模型派生出的多个量化专家分别部署在同类型加速器组上，并用两级路由器按预测回答质量和负载选择专家与副本。
分类置信度
中 · 待人工复核
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
事件类型：研究发布
证据摘录
- “We present PrismServe, a serving system that combines request-level collaboration across heterogeneous hardware with a mixture of quantized experts derived from the same foundation model.”
- “Our code is available at this https URL”
来源：arXiv · cs.AI · arxiv.org