arXiv · cs.AI · Yi Tang, Geoffrey Martin, Yiye Zhang, Yifan Peng · 10 小时前模型评分33
资源受限临床 大语言模型（LLM，Large Language Model） 服务中的容量规划研究
Capacity Planning for Resource-Constrained Clinical LLM Serving
导读
研究在四块 图形处理器（GPU，Graphics Processing Unit） 的受控环境中测试 24 种配置，发现模型组合比路由策略更能影响首 token 时间、延迟和长上下文覆盖。全小模型组合响应和吞吐最好但长上下文覆盖明显偏低，异构组合在强模型容量紧张时易成瓶颈；容量感知路由可降低平均延迟并提升吞吐，代价是长上下文覆盖小幅下降。
分类置信度
中 · 待人工复核
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
应用领域：医疗与生命科学
事件类型：研究发布
证据摘录
- “We investigate this question using a controlled four-GPU serving environment with heterogeneous clinical NLP workloads spanning short factual verification, biomedical semantic matching, and long-context clinical summarization.”
来源：arXiv · cs.AI · arxiv.org