arXiv · cs.AI · Leon Lufkin, Cutter Dawes, Alexander Speicher, Kamesh Krishnamurthy, Tom\'as Figliolia, Beren Millidge · 11 小时前模型评分59
Zyphra 提出树状索引器 ZHA，将注意力扩展降至次平方级
Subquadratic Attention with a Hierarchical Tree-Structured Indexer
导读
作者提出名为 Zyphra Hierarchical Attention（ZHA）的稀疏注意力方法，用分层树状索引器在 KV 缓存上递归压缩键摘要，使包含路由与最终注意力的总成本随序列长度次线性增长，整体呈次平方但超线性扩展。
分类置信度
中 · 待人工复核
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
事件类型：研究发布
证据摘录
- “In this paper, we derive an asymptotically subquadratic sparse attention method based on a hierarchical, tree-structured indexer, which we call Zyphra Hierarchical Attention (ZHA).”
来源：arXiv · cs.AI · arxiv.org