arXiv · cs.AI · Ruoran Xu, Yilun Zhao, Ziyu Chen, Arman Cohan · 9 小时前模型评分26
OC-OPD：用观测协调监督的在线策略蒸馏方法
OC-OPD: Observation-coordinated Supervision for On-Policy Distillation
导读
研究者提出观测协调在线策略蒸馏（OC-OPD，Observation-coordinated On-Policy Distillation），把学生模型和教师模型同时当作候选来源与评估者，构建四观测矩阵来协调反向与正向 KL 散度两种监督信号。该方法在非思考生成、思考生成和基座模型初始化三种学生设置下均提升了数学推理表现，并可迁移到分布外科学问答和代码生成任务，代码已公开。
分类置信度
中 · 待人工复核
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
事件类型：研究发布
证据摘录
- “Observation-coordinated on-policy distillation (OC-OPD) uses observations to set preferences, closed-form bargaining to coordinate gradients, and distributional discrepancy to scale the update.”
- “Our code is publicly available at: this https URL .”
来源：arXiv · cs.AI · arxiv.org