Karl Li 提出基于 margin 的 SAE 归因图

Karl Li 发布论文，提出用 margin 图改进稀疏自编码器（SAE）的归因图。论文称，在三个 Pythia 模型的五组公开 TopK SAE 上，原方法在特征编码放大三倍时中位相对误差至少 0.247；margin 图以同等成本将一阶变化加入每个预激活并重排序，误差最多 0.033。 该结果针对上述模型和公开 SAE 的测试，核心是在不增加成本的情况下降低归因误差。

AI 根据报道生成 · 5 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。