ZeroGraph：把边界监督做成数据集分块训练

Omar Ramadan 等作者发布 ZeroGraph，一种用于预训练模型转换与蒸馏的系统方法：先把冻结教师模型的连贯边界轨迹物化为带版本的数据集，再让各分块用各自独立的参数、优化器状态和检查点分别训练，从而去掉跨深度的在线梯度依赖。 据作者描述，该方法的监督信息来自教师模型已经生成的轨迹数据，而不是训练时的在线梯度传递，因此分块训练彼此解耦。这一效果来自论文的自述，尚待独立验证。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。