arXiv · cs.AI · Aryan Das, Vinay Kumar Verma, Aakansha Mishra · 12 小时前模型评分38
Muon-RT：复用教师轨迹的无动量 Muon，用于 大语言模型（LLM，Large Language Model） 自蒸馏
MUON-RT Reusing the Teacher's Trajectory for Momentum-Free Muon for LLM Self-Distillation
导读
研究者提出 Muon-RT，通过复用教师与学生之间的位移来消除隐藏权重矩阵的动量缓冲区，从而降低持续训练内存。
分类置信度
中 · 待人工复核
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
事件类型：研究发布
证据摘录
- “We propose Muon with Reused Teacher (Muon-RT), which reuses the teacher-student displacement to eliminate momentum buffers for hidden weight matrices.”
来源：arXiv · cs.AI · arxiv.org