arXiv · cs.AI · Zhichao Wang, Michael W. Mahoney · 10 小时前模型评分36
随机舍入下 SGD 的缩放规律：模型规模、训练时长与精度如何影响预测误差
Where, When, and How Many Bits? Scaling Laws for SGD with Stochastic Rounding
导读
一项理论研究分析了随机舍入（SR，Stochastic Rounding）在低精度训练中如何随模型规模、训练时间和精度变化影响预测风险，并给出最终模型与参数平均的预测误差上下界。
分类置信度
中 · 待人工复核
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
事件类型：研究发布
证据摘录
- “We theoretically study how stochastic rounding (SR) affects prediction risk as model size, training time, and precision change.”
来源：arXiv · cs.AI · arxiv.org