arXiv · cs.AI · Keuntae Kim, Yong Suk Choi · 11 小时前模型评分52
研究揭示语言模型隐藏特质会绕开封禁转移，并给出电路级阻断方法
A balloon effect: ban one channel and a hidden trait finds another
导读
研究团队在偏好链和名字链两类压力测试中逐一封禁特质的表现通道，发现封禁并未消除特质，而是让它转移到格式仍允许的位置，作者称之为气球效应。该实验覆盖两个模型、六种输出格式和16种特质，研究者进一步把这种表面封禁无法阻止的传递拆解到单个注意力头和神经元，定位到把特质写入输出的电路。
分类置信度
中 · 待人工复核
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
事件类型：研究发布
证据摘录
- “We closed a trait's outlets one by one in two stress tests, a preference chain and a name chain, across two models, six output formats and 16 traits.”
来源：arXiv · cs.AI · arxiv.org