arXiv · cs.AI · Smit Kadvani, Kriti Faujdar, Spurthi Tallam · 4 小时前模型评分43
量化部署中型开源大模型：速度翻倍，但并非总是如此
Twice as Fast, Until It Isn't: Quantized Serving of Mid-Size Open LLMs
导读
一项对公开测量的汇总发现，9B-20B 开源权重模型在 vLLM 或 SGLang 上量化部署的速度与精度数据大多残缺：仅两个 Gemma 3 12B 的 INT4 版本同时有 vLLM 计时和精度分数，且只覆盖单个 MMLU 科目。
分类置信度
中 · 待人工复核
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
事件类型：研究发布
证据摘录
- “We assemble every public measurement of these numbers that we could verify and find that the record supplies them only in pieces.”
来源：arXiv · cs.AI · arxiv.org