arXiv · cs.AI · Tue M. Cao, Nguyen Do, My T. Thai · 8 小时前模型评分38
语义最优传输用于稀疏自编码器特征匹配与电路压缩
Semantic Optimal Transport for Sparse Autoencoder Feature Matching and Circuit Compression
导读
研究者提出一种基于分布的最优传输方法，用于匹配跨层稀疏自编码器（SAE，Sparse Autoencoder）特征并自动将大型特征电路压缩为可解释的超级节点。该方法把每个特征表示为激活加权分布而非单一解码向量，通过投影到共享参考空间并用 Wasserstein 距离比较，实验表现优于解码向量和基于大语言模型的基线。
分类置信度
中 · 待人工复核
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
事件类型：研究发布
证据摘录
- “We introduce a distributional framework for this problem, in which each feature is represented not by a single decoder vector like in the literature, but by an activation-weighted distribution over the hidden states that express it.”
来源：arXiv · cs.AI · arxiv.org