arXiv · cs.AI · Andrew Gao, William Gao · 11 小时前模型评分55
论文指出 bf16 舍入丢弃多数强化学习策略更新，并提出一行修正方案 Fair Cast
bf16 Rounding Silently Discards Most RL Policy Updates: A Hidden Training-Inference Mismatch and an Unbiased One-Line Fix
导读
论文指出，语言模型强化学习后训练中，优化器保留 fp32 主权重，但 rollout 使用的是经 round-to-nearest 转换得到的 bf16 副本；在常用学习率下，多数单步更新小于半个 bf16 间距而被丢弃，Qwen3-1.7B 上每步仅 0.4-0.5% 的权重发生变化，生成训练数据的策略落后优化器 50-150 步。
分类置信度
中 · 待人工复核
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
事件类型：研究发布
证据摘录
- “We propose Fair Cast: export the master with an unbiased rounding rule (stochastic rounding or error feedback) and compute the training loss on the served copy.”
来源：arXiv · cs.AI · arxiv.org