研究发现语言模型的自我承诺方向及读取机制

Marcus Armstrong 发布研究称，语言模型回答是非题后会在残差流中写入一个“承诺方向”，第一个答案会影响它对后续问题的回答。研究覆盖四个家族、0.5B–72B 参数的 22 个开放权重模型，方法是固定模型的第一个答案，再测量第二个答案的变化，共涉及 120 个实体的 3600 个问题对。 研究发现，两个问题方向的相似度能够预测它们在未见实体上的回答耦合程度（ρ = 0.43–0.85），也就是说，方向越接近，自我承诺越可能迁移到新问题上。研究还考察了模型读取这一方向的电路。

AI 根据报道生成 · 5 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。