arXiv · cs.AI · Olaitan Olaleye, Jayson Meribe, Temidayo Olaleye · 8 小时前模型评分33
WAS-PO：面向多奖励强化学习的相关性感知优势聚合方法
Whitened Advantage Summation Policy Optimization: Correlation-Aware Aggregation for Multi-Reward Reinforcement Learning
导读
WAS-PO 先用奖励相关矩阵的逆平方根对归一化优势做白化再加权求和，避免相关奖励的共享波动被重复计入。在 Qwen2.5-1.5B-Instruct 的工具调用任务上，三奖励下七个随机种子的平均训练奖励均高于 GDPO（高 3.8%），四奖励下三个种子高 3.9%，但训练奖励提升未转化为留出准确率优势。该方法同时把 GDPO 的逐提示归一化改为批级归一化，两项改动未单独区分。
分类置信度
中 · 待人工复核
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
事件类型：研究发布
证据摘录
- “We study WAS-PO, which whitens the normalized advantages with $\Sigma^{-1/2}$ before adding them, so that the chosen weights apply to those components.”
来源：arXiv · cs.AI · arxiv.org