arXiv · cs.AI · Yinuo Liu · 4 小时前模型评分57
论文称长上下文检索失败源于注意力竞争而非长度
Length Is Cheap, Competition Is Not: Attention Predicts Context Rot in Retrieval
导读
一项 arXiv 论文在五个 0.5B 至 3B 参数的开源模型上测试检索任务，发现中性填充内容几乎不影响准确率，Qwen2.5-1.5B 在 32K token 内仍保持 0.97 至 1.00；但换成与证据同格式的陈述句后，准确率降到 0.16 至 0.33。
分类置信度
中 · 待人工复核
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
事件类型：研究发布
证据摘录
- “In retrieval, context rot is a competition for attention.”
- “We release the probe and all 126K trial-level measurements.”
来源：arXiv · cs.AI · arxiv.org