arXiv · cs.AI · Adar Peleg, Dvir Alsheich, Tomer Ashuach, Avi Mendelson · 4 小时前模型评分44
研究提出“无知几何”：用激活碎片化检测大语言模型中被抑制的知识
The Geometry of Ignorance: Detecting Suppressed Knowledge in LLMs through Activation Fragmentation
导读
研究提出一种无需攻击的单阶段方法，通过测量概念查询与匿名改写查询之间隐藏状态差异（anon-vectors）的几何一致性，判断大语言模型是否真正掌握某概念：真实知识形成低熵紧密簇，无知则表现为几何碎片化。在三个模型家族的十个指令微调大语言模型上，碎片化指标均能区分已知与未知概念，且与四种攻击、五种遗忘算法下的对抗恢复相关。该方法可作为评估遗忘鲁棒性的代理指标，捕捉输出层面指标看不到的参数知识。
分类置信度
中 · 待人工复核
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
事件类型：研究发布
证据摘录
- “The framework measures the geometric coherence of \textit{anon-vectors}, the differences in hidden states between a concept-specific query and its anonymized paraphrase, and shows that genuine knowledge forms a tight, low-entropy cluster while ignorance forces geometric fragmentation.”
来源：arXiv · cs.AI · arxiv.org