arXiv · cs.AI · Peter S\'uken\'ik, Cristina L\'opez Amado, Christoph H. Lampert, Marco Mondelli · 5 小时前模型评分36
研究：sink 与对角模式作为注意力切换和防过平滑机制的作用
Sink vs. diagonal patterns as mechanisms for attention switch and oversmoothing prevention
导读
一篇 arXiv 论文分析了 Transformer 中 sink 与对角模式作为注意力切换和防过平滑机制的作用，证明 sink 与硬注意力切换等价，即注意力输出恒为 0。研究还给出量化比较，说明为何预训练 Transformer 更偏好 sink 而非对角模式，并指出当无需 token 通信时注意力层会表现得像多层感知机（MLP，Multilayer Perceptron）。
分类置信度
中 · 待人工复核
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
事件类型：研究发布
证据摘录
- “This paper studies the role of sinks and diagonal patterns as attention switch and anti-oversmoothing mechanisms.”
来源：arXiv · cs.AI · arxiv.org