arXiv · cs.AI · Shreyas Subramanian · 10 小时前模型评分54
论文比较14个System-1决策模型与生成式大语言模型（LLM，Large Language Model）评审在评审任务上的表现
To Jev or Not to Jev: When Can System-1 Decision Models Replace LLM Judges?
导读
论文在十一个既有评审基准上评测14个System-1决策模型与四个生成式评审模型，其中五个决策模型在所有五个两两对比和best-of-4基准上与不带推理的GPT-5.6在统计上无法区分。
分类置信度
中 · 待人工复核
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
事件类型：研究发布
证据摘录
- “We evaluate 14 System-1 decision models, selected with a pre-stated protocol, against four generative judges (Claude Haiku 5.5, GPT-5.6 with and without reasoning, and Claude Opus 5.5 with thinking) on eleven established judge benchmarks.”
来源：arXiv · cs.AI · arxiv.org