CogBattery：用人类认知任务评测语言模型的行为与结构

CogBattery 在 13 个认知范式的文本改编任务上评测了 54 个开放权重语言模型，并与各原始研究中的人类数据对照。模型和人类一样对 n-back 诱饵更敏感，但在普通非目标上误报远多于人类，多数模型的置信度区分正误的能力弱于人类，且无论分类是否准确都倾向选择同一赌注。研究还发现模型得分可归结为两个维度，其中一个与规模密切相关，但更大的模型并不总是更接近人类。