arXiv · cs.AI · Jeongmin Brian Park, Wen-mei Hwu · 10 小时前模型评分41
AttentionIndex：用因果倒排索引加速学习型稀疏注意力
AttentionIndex: Accelerating Learned Sparse Attention with a Causal Inverted-File Index
导读
AttentionIndex 通过按相似度对索引器键分组的倒排索引为每个查询路由候选，再用原生索引器分数精排，并在预填充阶段建索引使新键立即可检索。
分类置信度
中 · 待人工复核
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
事件类型：研究发布
证据摘录
- “We present AttentionIndex, which routes each query over an inverted-file index that groups indexer keys by similarity and refines the candidates with the native indexer score.”
来源：arXiv · cs.AI · arxiv.org