OLGA：无标签梯度匹配持续训练语言模型

研究者 Sajjad Pakdamansavoji 等人提出无标签梯度匹配方法 OLGA，用于持续语言模型训练。该方法利用模型自身的下一词预测生成梯度匹配目标，因此无需真实标签即可蒸馏数据。 作者称，在 phi-1.5 上的五个文本分类基准中，OLGA 仅用五个样本，就比最强的选择基线高出 10 个百分点准确率；在在线数据流场景下，它的 stream-AUC 比最强的选择式持续学习基线高 6.6 个百分点。该方法还把蒸馏与选择组合成混合流程；作者称，在精度相近时，这一流程比单独蒸馏减少 30% 运行时间。

AI 根据报道生成 · 3 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。