arXiv · cs.AI · Zaiqian Chen, Aditya Somasundaram, Sophie Li, Sean McLeish, John Kirchenbauer, Tom Goldstein, Micah Goldblum · 10 小时前模型评分45
量化误差如何引发大语言模型预训练中的“定时炸弹”式损失尖峰
The Role of Quantization in Loss Spikes
导读
研究发现，大语言模型预训练中延迟出现的“定时炸弹”式损失尖峰，由语言建模头输出 logits 增长引发的量化误差快速上升所致。降低数值精度会加速这类尖峰，提高精度则改善稳定性；将语言建模头的 AdamW 换成带动量的 SGD 可抑制 logits 增长。现有缓解方法与作者提出的方法都能降低量化误差，指向共同的数值机制。
分类置信度
中 · 待人工复核
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
事件类型：研究发布
证据摘录
- “We find that these instabilities are preceded by rapidly growing quantization error in the LM head, which eventually culminates in a loss spike.”
来源：arXiv · cs.AI · arxiv.org