arXiv · cs.AI · Rong Shan, Aofan Yu, Bo Chen, Kuo Cai, Qiang Luo, Ruiming Tang, Han Li, Weiwen Liu, Weinan Zhang, Jianghao Lin · 5 小时前模型评分41
MuonRec:将 Muon 优化器引入可扩展生成式推荐训练
MuonRec: Shifting the Optimizer Paradigm Beyond Adam in Scalable Generative Recommendation
导读
MuonRec 首次把 Muon 优化器用于推荐系统训练,通过 Newton-Schulz 迭代对二维权重矩阵做正交化动量更新。在传统序列推荐和生成式推荐模型上,MuonRec 平均减少 32.4% 的收敛训练步数,NDCG@10 平均相对提升 12.6%,优于 Adam/AdamW 基线。该工作开源了训练方案,代码已公开。
分类置信度
中 · 待人工复核
- 只有单一媒体来源,需要人工复核。
来源级别:媒体与个人
应用领域:零售与营销
事件类型:研究发布
证据摘录
- “In this work, we revisit optimizer design for scalable recommendation and introduce MuonRec, the first framework that brings the recently proposed Muon optimizer to RecSys training.”
- “Our code is available.”
来源:arXiv · cs.AI · arxiv.org