Zyphra 作者提出次二次注意力方法 ZHA

Zyphra 作者 Leon Lufkin 等人发表论文，提出一种基于分层树状索引器的稀疏注意力方法 ZHA（Zyphra Hierarchical Attention）。该方法在 KV 缓存上递归压缩键摘要，使包含路由与最终注意力的总成本随序列长度呈次线性增长，整体为次平方但超线性扩展。 作者称，ZHA 可低成本应用于已有预训练模型，只需用数十亿 token 做短期的 KL 蒸馏训练；在长上下文检索以及推理、数学和智能体编程等评测任务上，ZHA 保持了性能。

AI 根据报道生成 · 3 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。