研究：改写压缩推理历史可减少模型后续开销

1. 13:00
   arXiv · cs.AI

   研究：压缩推理历史可减少语言模型后续推理开销与智能体成本

   一项研究提出在不重新训练的前提下，把模型此前的推理改写成紧凑状态记录，再对比原始与压缩历史下的后续生成。在测试模型中，被接受的压缩历史通常能缩短后续推理，软件智能体部署中还能降低总花费，但任务质量与含改写的时间取决于目标和压缩器。

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。