跳到正文
arXiv · cs.AI · Rong Shan, Aofan Yu, Bo Chen, Kuo Cai, Qiang Luo, Ruiming Tang, Han Li, Weiwen Liu, Weinan Zhang, Jianghao Lin · 5 小时前模型评分41

MuonRec:将 Muon 优化器引入可扩展生成式推荐训练

MuonRec: Shifting the Optimizer Paradigm Beyond Adam in Scalable Generative Recommendation

导读

MuonRec 首次把 Muon 优化器用于推荐系统训练,通过 Newton-Schulz 迭代对二维权重矩阵做正交化动量更新。在传统序列推荐和生成式推荐模型上,MuonRec 平均减少 32.4% 的收敛训练步数,NDCG@10 平均相对提升 12.6%,优于 Adam/AdamW 基线。该工作开源了训练方案,代码已公开。

分类置信度

中 · 待人工复核

  • 只有单一媒体来源,需要人工复核。

来源级别:媒体与个人

应用领域:零售与营销

事件类型:研究发布

证据摘录

  • “In this work, we revisit optimizer design for scalable recommendation and introduce MuonRec, the first framework that brings the recently proposed Muon optimizer to RecSys training.”
  • “Our code is available.”

来源:arXiv · cs.AI · arxiv.org