循环语言模型状态量化方法LoReS提出

Philipp Nazari等作者发布论文，提出面向循环语言模型的状态量化流程LoReS。研究先分析循环语言模型与softmax Transformer在量化上的数值差异，再将按值轴分组缩放、基于衰减的混合精度和随机舍入三项措施组合成该流程，以分别匹配输出通道幅度、保护衰减较慢的头或通道，并限制反复重量化下的误差累积。 据论文，LoReS在Qwen-3.5 9B、Nemotron-H 8B和Kimi-Linear 48B-A3B上支持稳健的8-bit状态量化，并能在较短解码长度下使用更低的有效精度。作者称已将该方法实现在vLLM中，并展示了端到端解码加速。

AI 根据报道生成 · 3 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。