技术报告称频繁压缩可替代长上下文

Peter Belcak 等作者发布技术报告，研究短上下文压缩与语义状态空间模型（SSSMs）。报告称，在开源权重的前沿模型上，越靠后的 token 生成成本越高，最高相差 7 倍；通过频繁压缩维持短上下文，在多种长程和长输入任务中，前沿模型的准确率几乎不降。报告据此认为，长上下文模型并非必需。

AI 根据报道生成 · 51 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。