跳到正文
arXiv · cs.AI · Fanyu meng, Zhaodan Kong, Xin Liu · 8 小时前模型评分33

Chain of Faith:用策略内部奖励提升模型对推理的依赖

Chain of Faith: Policy-Internal Rewards for Reasoning Reliance

导读

研究提出四种利用策略自身信号的奖励——梯度敏感度、置信度差距、渐进置信度增益和推理-提示词互换,并将它们加入组相对策略优化(GRPO,Group Relative Policy Optimization),在两个小型指令微调模型上于 GSM8K 和 StrategyQA 测试。

生成六维分析
分类置信度

中 · 待人工复核

  • 只有单一媒体来源,需要人工复核。

来源级别:媒体与个人

事件类型:研究发布

证据摘录

  • “We study four rewards that use the policy's own signals to encourage reliance on generated reasoning: gradient sensitivity, confidence gaps, progressive confidence gains, and reasoning--prompt swaps.”

来源:arXiv · cs.AI · arxiv.org