自注意力谱退化研究提出理想化谱模型

Mengda Li 与 Jianfeng Yao 发表、被 NeurIPS 2026 收录的研究，为 Transformer softmax 之前的评分矩阵提出一个理想化谱模型：用“对数尖峰—主体分离”的典型奇异值结构，取代评分矩阵方向随机的假设。 作者称，对预训练视觉与语言 Transformer 的实测显示，评分谱由少数有效方向主导，softmax 会把主体谱分布压向零；双向注意力的稳定秩有界，而因果注意力仅呈对数增长。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。