arXiv · cs.AI · Renjie Wei, Haochen Huang, Chuyu Qiu, Jinqi Wen, Dehao Xu, Meng Li · 8 小时前模型评分36
MatMoE：面向高效推理的套娃式混合专家动态混合精度量化
MatMoE: Matryoshka Mixture-of-Experts with Dynamic Mixed-Precision Quantization for Efficient Inference
导读
MatMoE 提出一种面向混合专家（MoE，Mixture-of-Experts）模型的动态混合精度量化框架，让专家在解码时按路由分数动态分配精度，以满足变化的延迟要求。
分类置信度
中 · 待人工复核
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
事件类型：研究发布
证据摘录
- “To address these challenges, we propose MatMoE, a dynamic mixed-precision quantization framework for efficient MoE inference.”
- “We implement our MatMoE system atop this http URL for both CPU and GPU platforms.”
来源：arXiv · cs.AI · arxiv.org