Sonar-MoE：反向传播中即时更新专家以省显存
热点事件持续更新
Sonar-MoE：反向传播中即时更新专家以省显存
1 篇报道1 个报道来源9 小时前更新
先了解这件事
AI 综述
Avni Mittal 等作者提出 Sonar-MoE 混合专家训练方法：它在反向传播过程中直接更新每个专家张量并立即释放对应的梯度，使图形处理器（GPU）最多只保留一层的专家梯度。作者称，在 bf16 下用两种专家核后端微调 OLMoE-1B-7B 和 Granite-3.1-3B-A800M 时，峰值显存降低 19% 至 22%。 作者还称，Sonar-MoE 的更新结果与不启用专家梯度裁剪的标准训练逐位一致，留出集损失与所有基线相差不超过 0.003。
AI 根据报道生成 · 3 小时前更新
最新进展11月3日 13:00
Sonar-MoE：面向内存高效 MoE 训练的反向传播内专家更新方法报道时间线
沿着报道，了解事件的不同侧面。
11月3日
- arXiv · cs.AISonar-MoE：面向内存高效 MoE 训练的反向传播内专家更新方法
Sonar-MoE 在反向传播过程中直接更新每个专家张量并立即释放其梯度，使 图形处理器（GPU，Graphics Processing Unit） 最多只保留一层的专家梯度。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。