arXiv · cs.AI · Geonwoo Cho, Jaegyun Im, Doyoon Kim, Lexin Li · 7 小时前模型评分37
ANCHOR：面向稳定离线到在线强化学习的 KL 锚定自适应方法
ANCHOR: KL-Anchored Adaptation for Stable Offline-to-Online RL
导读
研究提出 ANCHOR，一种无需离线回放的离线到在线强化学习自适应方法，通过在线微调早期将 actor 锚定到离线预训练策略并随时间退火该约束，仅保留少量保守 critic 正则项。在 FrankaKitchen、AntMaze 和 Adroit 任务上，ANCHOR 显著减少灾难性失败，同时保持较强的渐近性能。消融实验显示 KL 退火与残差保守权重对平衡早期稳定性和在线自适应很重要。
分类置信度
中 · 待人工复核
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
事件类型：研究发布
证据摘录
- “Motivated by these findings, we propose ANCHOR, a simple adaptation method that anchors the actor to the offline-pretrained policy early in online fine-tuning, anneals this constraint over time, and retains only a small residual conservative critic regularizer.”
- “Code is available at this https URL .”
来源：arXiv · cs.AI · arxiv.org