arXiv · cs.AI · Shenghao Ye, Yu Guo, Zhengheng Li, Qiang Huang, Shuangwu Chen, Wang Luo, Qian Rui, Jie Zhang, Tao Zhang, Dong Jin, Xiaobin Tan, Quan Zheng, Jian Yang · 10 小时前模型评分34
RoRo:用评分标准引导的过程奖励优化逐步模型路由
Rubric-Guided Process Reward for Stepwise Model Routing
导读
针对逐步模型路由中结果奖励无法评估中间路由决策的问题,研究者提出 RoRo 框架,先收集多样路由轨迹并按结果、成本与过程质量构建偏好对,再交替训练生成查询专属评分标准的 Rubricor 和据此打分的 Judge,将过程奖励与结果奖励结合,通过 GRPO 优化路由策略。在五个推理基准上,同家族与跨家族设置下 RoRo 均优于强基线,取得更好的准确率与成本权衡。
分类置信度
中 · 待人工复核
- 只有单一媒体来源,需要人工复核。
来源级别:媒体与个人
事件类型:研究发布
证据摘录
- “To address this gap, we propose RoRo, a rubric-guided process reward framework for stepwise model routing.”
来源:arXiv · cs.AI · arxiv.org