arXiv · cs.AI · Tao Ren, Hui Yang, Jia Deng, Tingyang Chen, Qiyao Wang, Shuo Tang, Ziyang Zeng, Yuhua Jiang, Guanghao Li, Huatong Song, Yining Li, Yifan Luo, Kunbao Ding, Feng Chang, Chuan Hao, Ran Tao, Bryan Dai, Jiafeng Liang, Jinyang Jiang · 10 小时前模型评分34
MPO：面向长程 大语言模型（LLM，Large Language Model） 智能体的多尺度策略优化
Multiscale Policy Optimization for Long-Horizon LLM Agents
导读
研究者提出多尺度策略优化（MPO，Multiscale Policy Optimization），结合多尺度优势估计（MAE，Multiscale Advantage Estimation）与轮次级重要性采样，让信用分配与策略更新在轮次尺度上对齐。在搜索、工具使用和自动化任务上，4B 与 30B-A3B 模型的实验均稳定优于强强化学习基线。
分类置信度
中 · 待人工复核
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
事件类型：研究发布
证据摘录
- “We propose Multiscale Policy Optimization (MPO), combining Multiscale Advantage Estimation (MAE) and turn-level importance sampling to align credit assignment and policy updates at the turn scale.”
来源：arXiv · cs.AI · arxiv.org