arXiv · cs.AI · Yuanpeng Li, Gefei Lin, Annie Qu, Rui Miao · 5 小时前模型评分35
TOPPO：用 Critic Balancing 重构 PPO，挑战多任务强化学习中的 SAC 主导地位
TOPPO: Rethinking PPO for Multi-Task Reinforcement Learning with Critic Balancing
导读
研究者提出 TOPPO（Tail-Optimized PPO），通过 Critic Balancing 模块改善梯度条件并平衡多任务学习动态，解决 PPO 在多任务强化学习中评论家侧梯度病态导致尾部任务停滞的问题。
分类置信度
中 · 待人工复核
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
事件类型：研究发布
证据摘录
- “To address this, we propose TOPPO (Tail-Optimized PPO), a reformulation of PPO via Critic Balancing -- a set of modules that improve gradient conditioning and balance learning dynamics across tasks.”
- “Comments: Accepted at NeurIPS 2026.”
来源：arXiv · cs.AI · arxiv.org