arXiv · cs.AI · Fanyu meng, Zhaodan Kong, Xin Liu · 8 小时前模型评分33
Chain of Faith:用策略内部奖励提升模型对推理的依赖
Chain of Faith: Policy-Internal Rewards for Reasoning Reliance
导读
研究提出四种利用策略自身信号的奖励——梯度敏感度、置信度差距、渐进置信度增益和推理-提示词互换,并将它们加入组相对策略优化(GRPO,Group Relative Policy Optimization),在两个小型指令微调模型上于 GSM8K 和 StrategyQA 测试。
分类置信度
中 · 待人工复核
- 只有单一媒体来源,需要人工复核。
来源级别:媒体与个人
事件类型:研究发布
证据摘录
- “We study four rewards that use the policy's own signals to encourage reliance on generated reasoning: gradient sensitivity, confidence gaps, progressive confidence gains, and reasoning--prompt swaps.”
来源:arXiv · cs.AI · arxiv.org