arXiv · cs.AI · Sinuo Wang, Jiacheng Lu, Zeyu Zhang, Maojia Song, Rui Sun, Beidi Luan, Yutong Xie, Jing Li, Daxin Jiang, Qi Wu, Zuo Bai · 4 小时前模型评分35
P²-MOPD：用参数先验加速多教师在线策略蒸馏
P$^2$-MOPD: Accelerating Multi-Teacher On-Policy Distillation via Parameter Priors
导读
研究提出 P²-MOPD，把学生模型与专家参数的线性组合视为单一可微模型，在在线策略蒸馏目标下联合优化混合系数与学生权重，使专家仅作为参数先验而不限制学生。
分类置信度
中 · 待人工复核
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
事件类型：研究发布
证据摘录
- “We view the linear combination of student and expert parameters as a single differentiable model and propose P$^2$-MOPD, which jointly optimizes the mixing coefficients and the student weights under the same on-policy distillation objective.”
来源：arXiv · cs.AI · arxiv.org