研究揭示量化误差引发语言模型损失尖峰的机制

Zaiqian Chen 等作者发表论文称，大语言模型预训练中延迟出现的“定时炸弹”式损失尖峰，源于语言建模头输出 logits 增长带动量化误差快速上升，最终触发损失尖峰。 其研究显示，降低数值精度会加速这类尖峰，提高精度则改善稳定性；将语言建模头的 AdamW 换成带动量的 SGD 可抑制 logits 增长。现有缓解方法与作者提出的方法都能降低量化误差，作者据此认为它们指向共同的数值机制。

AI 根据报道生成 · 3 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。