跳到正文
热点事件持续更新

S1CogBench评测System One决策模型

1 篇报道1 个报道来源7 小时前更新

先了解这件事

AI 综述

Dengzhe Hou 与 Kazunori D Yamada 发布 S1CogBench,用24项认知任务评测 System One 决策模型(如 Jev、Laya)在路由、护栏和自动闸门中的表现,覆盖五个开源模型及 Jev。结果显示,这类模型可靠性差异很大;表现好不等于能预测人类,总分还会掩盖决策对条件的响应,速度优势主要来自不生成文本。 该基准旨在为软件依赖这些模型前提供共享检验,考察决策是否响应证据、反馈、记忆负荷和未来机会。

AI 根据报道生成 · 3 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月3日
  1. arXiv · cs.AI
    S1CogBench:System One 决策模型在认知实验上能做什么、不能做什么

    研究者提出 S1CogBench,用 24 项认知任务评测 System One 决策模型(也称类型化决策模型,如 Jev、Laya)在路由、护栏和自动闸门中的表现,覆盖五个开源模型及 Jev。结果显示这类模型可靠性差异很大,表现好并不等于能预测人类,总分掩盖了决策对条件的响应,速度主要来自不生成文本。该基准为软件依赖这些模型前提供共享检验,看决策是否响应证据、反馈、记忆负荷和未来机会。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。