arXiv · cs.AI · Philipp Nazari, Neehal Tumma, Daniela Rus, T. Konstantin Rusch · 8 小时前模型评分48
研究：循环语言模型的量化比想象中更容易，LoReS 实现 8-bit 状态量化
Quantizing Recurrent Language Models Is Easier Than You Think
导读
研究分析了循环语言模型与 softmax Transformer 在量化上的数值差异，并提出状态量化流程 LoReS，结合按值轴分组缩放、基于衰减的混合精度和随机舍入，在 Qwen-3.5 9B、Nemotron-H 8B 和 Kimi-Linear 48B-A3B 上支持稳健的 8-bit 状态量化。LoReS 已实现在 vLLM 中，并展示了端到端解码加速。
分类置信度
中 · 待人工复核
- 存在未解决的相邻类别：ai-tooling，需要人工复核。
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
事件类型：研究发布
证据摘录
- “We instantiate our findings as LoReS, a state quantization pipeline combining value-axis scale grouping to match output channel magnitude, decay-based mixed-precision to protect slowly decaying heads or channels, and stochastic rounding to limit error accumulation under repeated requantization.”
- “Across Qwen-3.5 9B, Nemotron-H 8B, and Kimi-Linear 48B-A3B, LoReS supports robust 8-bit state quantization and lower effective precision on shorter decode horizons.”
- “We implement LoReS in vLLM and demonstrate end-to-end decode speedups.”
来源：arXiv · cs.AI · arxiv.org