arXiv · cs.AI · Mudit Gaur, Naman Saxena, Vaneet Aggarwal · 8 小时前模型评分32
双层强化学习一阶方法的样本复杂度分析改进
Improved Sample Complexity Analysis For First Order Bilevel Reinforcement Learning
导读
研究改进了双层强化学习的一阶样本复杂度分析，提出一种单循环、完全一阶的方法，适用于连续状态与有限动作，并采用指定的多层神经网络 actor 和持续训练的非线性 critic。该方法在显式初始化、正则性、特征激励与价值可实现条件下证明耦合迭代有界，并给出 $\widetilde{\mathcal O}(\varepsilon^{-2})$ 的样本复杂度，覆盖 critic 训练。
分类置信度
中 · 待人工复核
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
事件类型：研究发布
证据摘录
- “We develop a single-loop, fully first-order method for continuous states and finite actions with specified multilayer neural actors and a persistently trained nonlinear critic built from fixed features.”
- “Under explicit initialization, regularity, feature-excitation, and value-realizability conditions, fixed reference-KL regularization yields local curvature, and we prove containment of the coupled iterates.”
来源：arXiv · cs.AI · arxiv.org