MoeResQ：MoE模型FP4强化学习对称恢复方法
热点事件持续更新
MoeResQ：MoE模型FP4强化学习对称恢复方法
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
Hei Yi Mak等作者提出 MoeResQ，一种面向混合专家（MoE）大语言模型 FP4 强化学习后训练的量化恢复方法。论文分析认为，MoE 路由的离散专家选择使训练与推理策略对齐对恢复技术是否在两侧对称应用极为敏感，稠密模型的不对称方案在此失效；MoeResQ 强制训练侧与推理侧修正对称。作者称，该方法恢复了训练-推理对齐，并大幅缩小与全精度模型的准确率差距。
AI 根据报道生成 · 2 小时前更新
最新进展11月4日 13:00
MoeResQ：为 MoE 大模型端到端 FP4 强化学习对齐训练与推理策略报道时间线
沿着报道，了解事件的不同侧面。
11月4日
- arXiv · cs.AIMoeResQ：为 MoE 大模型端到端 FP4 强化学习对齐训练与推理策略
研究提出 MoeResQ，一种面向混合专家（MoE，Mixture-of-Experts）大语言模型 FP4 强化学习后训练的量化恢复方案。分析发现 MoE 路由的离散专家选择使训练与推理策略对齐对恢复技术是否在两侧对称应用极为敏感，稠密模型的不对称方案在此失效；MoeResQ 强制训练侧与推理侧修正对称，恢复训练-推理对齐并大幅缩小与全精度的准确率差距。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。