bf16舍入丢弃多数RL更新，提出Fair Cast修正

一篇 arXiv 论文指出，语言模型强化学习后训练中，优化器保留 fp32 主权重，但 rollout 使用的是经 round-to-nearest 转换得到的 bf16 副本；在常用学习率下，多数单步更新小于半个 bf16 间距，因而被丢弃。作者 Andrew Gao 与 William Gao 称，在 Qwen3-1.7B 上，每步只有 0.4–0.5% 的权重发生变化，生成训练数据的策略落后优化器 50–150 步。 两人据此提出 Fair Cast 修正：按无偏舍入规则（随机舍入或误差反馈）从主权重导出副本，并在实际服务的副本上计算训练损失，而非在 fp32 主权重上计算。

AI 根据报道生成 · 4 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。