CogBattery发布语言模型认知评测结果

Dengzhe Hou 等作者发布 CogBattery 认知任务评测基准，在 13 个认知范式的文本改编任务上评测 54 个开放权重语言模型，并与各原始研究的人类数据对照。 评测显示，模型和人类一样对 n-back 诱饵更敏感，但在普通非目标上的误报远多于人类；多数模型用置信度区分回答正误的能力弱于人类，并且无论分类是否准确都倾向选择同一赌注。 研究称，模型得分可归结为两个维度，其中一个与模型规模密切相关，但更大的模型并不总是更接近人类。

AI 根据报道生成 · 3 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。