arXiv · cs.AI · Dipto Sumit, Zobeida Zaman Chowdhury, Syeda Fabiayee Jahan, Farig Sadeque · 9 小时前模型评分29
研究：门控知识蒸馏在低资源孟加拉语生成任务中未显著优于普通知识蒸馏
Label Smoothing in Disguise? Gated Knowledge Distillation for Low-Resource Bangla Generation
导读
研究在六个孟加拉语任务、三个60M至约2B参数的学生模型和两类教师模型上测试了两种门控知识蒸馏（KD，Knowledge Distillation），45组对比中门控均未显著优于普通知识蒸馏。知识蒸馏也未能在40组单种子对比中胜过用金标输出做交叉熵微调，其主要作用是正则化，而无教师标签平滑可弥补大部分差距。
分类置信度
中 · 待人工复核
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
事件类型：研究发布
证据摘录
- “Across six Bangla-centric tasks, three student models (60M to about 2B parameters), and two teacher families, no gate significantly improves plain KD in 45 comparisons.”
- “Findings are limited to Bangla-centric tasks and small students.”
- “We will release code, data splits, predictions, and scores.”
来源：arXiv · cs.AI · arxiv.org