MiniMax Research · 2026-05-26精选模型评分66
MiniMax 复盘 M2 说不出“马嘉祺”:稀疏 token 遗忘源于后训练输出层漂移
Why Can't the MiniMax LLM Say "Ma Jiaqi"? Internal Investigation of Sparse Token Forgetting2026-05-26Learn More >
导读
MiniMax 官方调查了 M2 系列模型无法输出“嘉祺”等低频 token 的现象,确认问题不在分词器,而在于后训练数据覆盖不足导致输出层 lm_head 表示漂移。
推荐理由
官方复盘一个具体案例,把低频词生成能力丢失定位到后训练阶段输出层的漂移,并给出可复用的修复思路。
分类置信度
高
- 官方或准官方来源,且无冲突类别。
- 正文、可信日期、主分类和证据摘录完整。
来源级别:官方一手
事件类型:研究发布
证据摘录
- “This issue has been fully investigated internally and resolved in subsequent model updates.”
- “This issue has been fully investigated internally and resolved in subsequent model updates.”
来源:MiniMax Research · minimax.io