arXiv · cs.AI · Ales Kubicek, Andrea Caciolai, Liangzu Peng, Sukrit Sumant, Benjamin Hoover, Fraser Greenlee, Ruairidh M. Battleday, Radim Urban, Torsten Hoefler, James C. R. Whittington · 12 小时前模型评分40
Latent Sparse Attention（LSA）：面向超长上下文的亚二次方注意力方法
Latent Sparse Attention: Towards Subquadratic Ultra-Long Context Attention
导读
研究者提出潜在稀疏注意力（LSA，Latent Sparse Attention），在学到的潜在空间中对键分层聚类，让查询只对聚类层级打分而非逐键打分，从而在超长上下文下加速预填充、解码和训练。
分类置信度
中 · 待人工复核
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
事件类型：研究发布
证据摘录
- “We address this with Latent Sparse Attention (LSA), an efficient attention method that maintains accuracy at ultra-long context.”
来源：arXiv · cs.AI · arxiv.org