HISA提出免训练分层索引器替换逐token扫描

Yufei Xu 等作者发布论文提出 HISA（分层索引稀疏注意力），把稀疏注意力索引器原本逐 token 的平面扫描改为“块级粗筛＋token 级精筛”两阶段流程，作为即插即用替换，无需额外训练。作者称 HISA 保持与下游 Sparse MLA 算子所消费的完全相同的 token 级 top-sparse 模式。 作者称在 Needle-in-a-Haystack 和 LongBench 上，将 DeepSeek-V3.2 与 GLM-5 的索引器直接替换为 HISA，且不做微调。

AI 根据报道生成 · 4 小时前更新