arXiv · cs.AI · Dengzhe Hou, Kazunori D Yamada · 9 小时前模型评分49
S1CogBench：System One 决策模型在认知实验上能做什么、不能做什么
S1CogBench: What System One Decision Models Can and Cannot Do on Cognitive Experiments
导读
研究者提出 S1CogBench，用 24 项认知任务评测 System One 决策模型（也称类型化决策模型，如 Jev、Laya）在路由、护栏和自动闸门中的表现，覆盖五个开源模型及 Jev。结果显示这类模型可靠性差异很大，表现好并不等于能预测人类，总分掩盖了决策对条件的响应，速度主要来自不生成文本。该基准为软件依赖这些模型前提供共享检验，看决策是否响应证据、反馈、记忆负荷和未来机会。
分类置信度
中 · 待人工复核
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
事件类型：研究发布
证据摘录
- “We introduce S1CogBench to ask what these models can and cannot do on 24 cognitive tasks, evaluating five open models and Jev and keeping conditions and scoring apart from disclosed adaptations.”
来源：arXiv · cs.AI · arxiv.org