研究分析随机舍入下SGD预测误差缩放

一项理论研究分析了随机舍入（SR）在低精度训练中如何随模型规模、训练时间和精度变化影响预测风险，并给出最终模型与参数平均两种情形下的预测误差上下界。该研究由 Zhichao Wang 与 Michael W. Mahoney 完成，属理论分析，结论以论文给出的误差界形式呈现。 研究关注的问题是：采用随机舍入后，模型越大、训练越久、精度越高，预测误差按什么规律缩放。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。