研究改用概率质量重估Transformer真值偏好

研究者Konstantin Krestnikov发布论文修订版，改用模型对错误生成器可产生的全部字符串的概率质量，而不是成对比较，重新评估Transformer对正确与错误数学解法的偏好。在8600万参数规模上，正确补全占59.0%±0.8%的概率质量（独立语料为59.4%），而单次实际错误为77.6%、成对准确率为87.4%，把超出随机的部分高估了三到四倍；低于该规模时主语料未显示偏好。 研究还称，主语料中前后一致的错误规则在任何规模下都未被过滤（43.5%–48.8%，低于0.5是补全长度效应）；固定被打分的错误字符串后，若错误规则的选择器可被模型学习，正确占比会从高于随机5点变为低于随机7点（4.18亿至30.8亿参数），但正确补全仍高于被选中的字符串。论文称压缩仍只是动机，而非实测机制。

AI 根据报道生成 · 4 小时前更新