arXiv · cs.AI · Yu Li, Yufa Zhou, Tian Lan · 10 小时前模型评分36
研究揭示大语言模型强化学习中训练-推理不匹配的来源与演化，提出 DLC 修正方法
On the Origin and Evolution of Training-Inference Mismatch in LLM Reinforcement Learning
导读
研究把大语言模型强化学习中的训练-推理不匹配拆成推理引擎的数值差异与异步采样的策略滞后两类，并追踪二者在训练中的演化。基于此提出的差异-滞后修正（DLC，Discrepancy-Lag Correction）在 Qwen3-0.6B 和 Qwen3-1.7B 上使陈旧采样器下的 KL 散度保持在两次独立同策略训练之间 KL 的两倍以内。
分类置信度
低
- 缺少可核实的证据摘录。
来源级别：媒体与个人
事件类型：研究发布
来源：arXiv · cs.AI · arxiv.org