跳到正文
arXiv · cs.AI · Dongwei Wang, Jinhee Kim, Seokho Han, Denis Gudovskiy, Yohei Nakata, Tomoyuki Okuno, KhayTze Peong, Kang Eun Jeon, Jong Hwan Ko, Yiran Chen, Huanrui Yang · 9 小时前模型评分44

MoBiQuant：面向 token 自适应任意精度 大语言模型（LLM，Large Language Model） 的混合比特量化

MoBiQuant: Mixture-of-Bits Quantization for Token-Adaptive Any-Precision LLM

导读

研究者提出任意精度混合比特量化框架 MoBiQuant，按 token 敏感度动态调整权重精度，并用 token 感知路由器缓解跨比特宽度的离群值迁移问题。实验显示其性能匹配或超过前沿单精度训练后量化（PTQ，Post-Training Quantization）方法，吞吐量最高提升 1.34 倍。代码已开源，论文入选 NeurIPS 2026。

生成六维分析
分类置信度

中 · 待人工复核

  • 只有单一媒体来源，需要人工复核。

来源级别：媒体与个人

事件类型：研究发布

证据摘录

  • “we propose MoBiQuant, a novel any-precision Mixture-of-Bits quantization framework that adjusts weight precision for flexible LLM inference based on token sensitivity.”
  • “Our code is available at this https URL .”

来源：arXiv · cs.AI · arxiv.org

推理能力部署工程论文研究#论文/研究#推理#部署/工程