arXiv · cs.AI · Mengda Li, Jianfeng Yao · 7 小时前模型评分39
Transformer 自注意力在等向评分几何下的谱退化研究
Spectral Degeneration of Self-Attention under Isotropic Score Geometry
导读
一项被 NeurIPS 2026 收录的研究提出自注意力的理想化谱模型，用对数尖峰—主体分离的典型奇异值结构替代评分矩阵的随机方向。对预训练视觉与语言 Transformer 的实测显示，评分谱由少数有效方向主导，softmax 会把主体谱分布压向零，双向注意力的稳定秩有界而因果注意力仅对数增长。
分类置信度
中 · 待人工复核
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
事件类型：研究发布
证据摘录
- “We study the spectral structure of the self-attention matrix in Transformer models through an idealized spectral model for the pre-softmax score matrix.”
来源：arXiv · cs.AI · arxiv.org