研究：门控知识蒸馏在孟加拉语任务上无显著增益

Dipto Sumit 等作者发布实证研究：在六个孟加拉语生成任务、三个60M至约2B参数的学生模型和两类教师模型上，45组对比中，两种门控知识蒸馏均未显著优于普通知识蒸馏。 研究还报告，在40组单种子对比中，知识蒸馏未能胜过用金标输出做交叉熵微调；知识蒸馏的主要作用是正则化，无教师标签平滑可弥补大部分差距。 作者称，这些结论仅限于孟加拉语任务和小规模学生模型，并表示将公开代码、数据划分、预测与评分。

AI 根据报道生成 · 3 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。