OLGA：面向持续语言模型训练的无标签在线梯度匹配方法

研究者提出无标签梯度匹配方法 OLGA，用模型自身的下一词预测生成梯度匹配目标，无需真实标签即可蒸馏数据。在 phi-1.5 上的五个文本分类基准中，仅用五个样本即比最强选择基线提升 10 个百分点准确率；在线数据流场景下比最强选择式持续学习基线高 6.6 个 stream-AUC 百分点。该方法还将蒸馏与选择组合成混合流程，在精度相近时比单独蒸馏减少 30% 运行时间。