arXiv · cs.AI · Karl Li2026-11-03 13:00 · 11 小时前模型评分32

稀疏自编码器归因图由 margin 决定

Sparse Autoencoder Attribution Graphs Are Decided at the Margin

导读

研究提出用 margin 图改进稀疏自编码器（SAE，Sparse Autoencoder）的归因图：在三个 Pythia 模型的五组公开 TopK SAE 上，原方法在特征编码放大三倍时中位相对误差至少 0.247，而 margin 图以同等成本加入一阶变化并重排序，误差最多 0.033。

分类置信度

中 · 待人工复核

来源级别：媒体与个人

事件类型：研究发布

证据摘录

“The margin graph adds the first order change to every preactivation and reranks, at the same cost, and errs by at most 0.033.”

来源：arXiv · cs.AI · arxiv.org