跳到正文
arXiv · cs.AI · Anton Hristov · 5 小时前模型评分43

研究:压缩推理历史可减少语言模型后续推理开销与智能体成本

Why Pay for Long Reasoning When Rewrite Do Trick? Causal Effects of Reasoning History Compaction on Future Generation and Agent Cost

导读

一项研究提出在不重新训练的前提下,把模型此前的推理改写成紧凑状态记录,再对比原始与压缩历史下的后续生成。在测试模型中,被接受的压缩历史通常能缩短后续推理,软件智能体部署中还能降低总花费,但任务质量与含改写的时间取决于目标和压缩器。

分类置信度

中 · 待人工复核

  • 只有单一媒体来源,需要人工复核。

来源级别:媒体与个人

事件类型:研究发布

证据摘录

  • “We investigate whether open-weight models can generate less verbose reasoning by changing the form of their own earlier thoughts, without retraining.”

来源:arXiv · cs.AI · arxiv.org