arXiv · cs.AI · Qingyuan Zheng, Zhihao Dou · 5 小时前模型评分37
Shuffled OPSD：打乱共享问题语句反而提升在策略自蒸馏效果
Shuffled OPSD: When Semantic Consistency Hurts On-Policy Self-Distillation?
导读
研究提出 Shuffled OPSD，在保持教师端完整解题示例不变的前提下打乱师生共享的问题语句词序。在三个数学推理基准和三个 Qwen3 规模上，该方法平均准确率超过完整目标对照与标准在策略自蒸馏（OPSD，On-Policy Self-Distillation），Qwen3-1.7B 上最大提升 3.52 个百分点。
分类置信度
中 · 待人工复核
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
事件类型：研究发布
证据摘录
- “We introduce Shuffled OPSD, which shuffles the words of the shared problem statement while keeping the teacher-only worked example intact.”
来源：arXiv · cs.AI · arxiv.org