研究者提出SAE特征分布匹配与电路压缩框架

Tue M. Cao等研究者发布论文，提出一种基于分布的最优传输方法，用于匹配跨层稀疏自编码器（SAE）特征，并自动把大型特征电路压缩为可解释的超级节点。 该方法不再用单一解码向量表示特征，而是把每个特征表示为在表达它的隐藏状态上的激活加权分布，投影到共享参考空间后用 Wasserstein 距离比较。作者称，该方法的实验表现优于基于解码向量和基于大语言模型的基线。

AI 根据报道生成 · 3 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。