arXiv · cs.AI · Giuseppe Bruno, Shi Chen, Zhengjiang Lin, Yury Polyanskiy, Philippe Rigollet · 5 小时前模型评分40
研究揭示长上下文 Transformer 的选择性缩放极限
Scaling Limits of Long-Context Transformers
导读
一项理论研究分析了固定查询与随机上下文下 softmax 自注意力的长上下文极限，发现选择性出现的临界尺度由距离分布近零处的局部指数决定，而非上下文的全局特征。在球面上均匀分布键时，该临界尺度按 β_n* ≍ n^{2/(d-1)} 缩放，并刻画了次临界、临界与超临界三种状态下注意力权重及输出的极限规律。
分类置信度
中 · 待人工复核
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
事件类型：研究发布
证据摘录
- “We study the long-context limit of softmax self-attention with a fixed query and a random context of $n$ i.i.d. keys on the sphere with the intrinsic dimension of the key distribution held fixed”
来源：arXiv · cs.AI · arxiv.org