研究提出用激活碎片几何检测LLM被抑制知识

Adar Peleg 等作者发布论文，提出一种无需攻击的单阶段方法：测量概念查询与其匿名改写查询之间隐藏状态差异（anon-vectors）的几何一致性，据此判断大语言模型是否真正掌握某概念。按论文描述，真实知识会形成低熵紧密簇，无知则表现为几何碎片化。 在三个模型家族的十个指令微调大语言模型上，该碎片化指标均能区分已知与未知概念，并与四种攻击、五种遗忘算法下的对抗恢复相关。作者称，该方法可作为评估遗忘鲁棒性的代理指标，捕捉输出层面指标看不到的参数知识。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。