跳到正文
今天11月2日周一6 条
  1. arXiv · cs.AI38

    用因果关系与注意力机制提升 检索增强生成(RAG,Retrieval-Augmented Generation) 检索精度

    一项研究针对检索增强生成(RAG,Retrieval-Augmented Generation)的检索阶段提出改进:标准稠密向量相似度检索常返回只与查询共享关键词、却不含所需信息的文档,且知识库越大越严重。作者用因果图建模该阶段,把查询与文档共享的关键词视为潜在共同原因,并引入注意力机制区分关联与因果关系,以提升检索精度。

  2. arXiv · cs.AI49

    GENSTRAT:用程序化生成博弈评测大语言模型的策略推理能力

    GENSTRAT 通过程序化生成双人零和不完全信息下注博弈,按状态空间、时序偶然性等五个复杂度维度刻画每局游戏,并构建了 50 局基准,让 12 个前沿与开放权重模型进行了超过 4 万场对战。结果显示,在 8 局最难游戏上,最好与最差模型的差距是全部游戏上差距的 1.7 倍;更高的思考预算、向模型披露对手策略、以及与游戏需求匹配的推理深度,都与模型更高的胜率差相关。

  3. arXiv · cs.AI42

    LEAP:用可泛化长度预测实现高效 大语言模型(LLM,Large Language Model) 推理调度

    研究者提出长度预测系统 LEAP,复用服务模型预填充阶段的隐藏状态,通过线性读出提取输出长度信号,并在测试时用递归最小二乘法在线更新,无需梯度计算或历史数据回放。跨域迁移实验中,在线适配使 Spearman 相关系数提升 64.7%;服务实验中,相比所评估的长度预测器,LEAP 将平均每 token 延迟降低 15.9–40.8%,吞吐量提高 1.9%,预测器参数量少 30,569 倍。

3月13日周五