arXiv · cs.AI · Qinxun Bai, Yuxuan Han, Yuxiao Wen, Wei Xu, Zhengyuan Zhou · 11 小时前模型评分38
函数型评论家为离策略演员-评论家方法打通稳定性与探索
Functional Critics for Off-Policy Actor-Critic: From Stability to Exploration
导读
研究提出函数型评论家（以策略为条件取值的价值函数），为离策略演员-评论家（Actor-Critic）训练同时提供稳定性与策略空间探索的统一基础。作者在线性函数近似下给出收敛框架，并据此设计回放采样方案以减少达到目标评估精度所需的样本复杂度。基于该表示的深度算法在 DeepMind Control Suite 的 Dog 与 Humanoid 全系列任务上表现强劲。
分类置信度
中 · 待人工复核
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
事件类型：研究发布
证据摘录
- “We revisit functional critics, i.e., value functions that explicitly condition on the policy, and show that this representation provides a shared foundation for off-policy training stability and policy-space exploration.”
来源：arXiv · cs.AI · arxiv.org