跳到正文
MiniMax Research · 2026-05-26精选模型评分66

MiniMax 复盘 M2 说不出“马嘉祺”:稀疏 token 遗忘源于后训练输出层漂移

Why Can't the MiniMax LLM Say "Ma Jiaqi"? Internal Investigation of Sparse Token Forgetting2026-05-26Learn More >

导读

MiniMax 官方调查了 M2 系列模型无法输出“嘉祺”等低频 token 的现象,确认问题不在分词器,而在于后训练数据覆盖不足导致输出层 lm_head 表示漂移。

生成六维分析
推荐理由

官方复盘一个具体案例,把低频词生成能力丢失定位到后训练阶段输出层的漂移,并给出可复用的修复思路。

分类置信度

高

  • 官方或准官方来源,且无冲突类别。
  • 正文、可信日期、主分类和证据摘录完整。

来源级别:官方一手

事件类型:研究发布

证据摘录

  • “This issue has been fully investigated internally and resolved in subsequent model updates.”
  • “This issue has been fully investigated internally and resolved in subsequent model updates.”

来源:MiniMax Research · minimax.io