arXiv · cs.AI · Changdae Oh, Wendi Li, Seongheon Park, Samuel Yeh, Tanwi Mallick, Sharon Li2026-11-04 13:00 · 5 小时前模型评分45

训练后免费午餐：面向大语言模型（LLM，Large Language Model）智能体的进度优势

Neglected Free Lunch from Post-training: Progress Advantage for LLM Agents

导读

研究提出“进度优势”，即强化学习训练后的策略与参考策略之间的对数概率比，可精确还原最优优势函数，无需额外训练奖励模型。该信号无需人工标注、不依赖领域，在五个基准和四个模型族上用于测试时扩展、不确定性量化和失败归因，均优于基于置信度的基线，并超过专门训练的奖励模型。

分类置信度

中 · 待人工复核

来源级别：媒体与个人

事件类型：研究发布

证据摘录

“In this work, we show that reinforcement learning (RL) post-training already provides the ingredients for effective step-level scoring, eliminating the need for dedicated reward model training altogether.”

来源：arXiv · cs.AI · arxiv.org

训练后免费午餐：面向 大语言模型（LLM，Large Language Model） 智能体的进度优势