跳到正文
今天11月2日周一11 条
  1. arXiv · cs.AI49

    GENSTRAT:用程序化生成博弈评测大语言模型的策略推理能力

    GENSTRAT 通过程序化生成双人零和不完全信息下注博弈,按状态空间、时序偶然性等五个复杂度维度刻画每局游戏,并构建了 50 局基准,让 12 个前沿与开放权重模型进行了超过 4 万场对战。结果显示,在 8 局最难游戏上,最好与最差模型的差距是全部游戏上差距的 1.7 倍;更高的思考预算、向模型披露对手策略、以及与游戏需求匹配的推理深度,都与模型更高的胜率差相关。

  2. arXiv · cs.AI47

    BULLPEN:用多通道模型嵌入实现样本高效的大语言模型画像

    BULLPEN 框架在 EmbedLLM 基础上扩展,首次将模型自身回答文本与正确性、问题文本联合编码,并新增 20 个行为、风格与来源类任务基准。在 260 个开放权重模型上,其回答文本编码器在新任务上得分 0.48±0.10,优于此前最佳编码器的 0.35±0.10;仅用 400 个问题即可保留全量问题池至少 91% 的能力,推理计算量约为全量池的 1.3%。

  3. arXiv · cs.AI48

    CLR-Bench:在隐藏规则课程上评测自进化智能体

    研究者提出 CLR-Bench,用每层新增一条隐藏规则的课程链评测自进化智能体能否学到没人告知的规则,并发布覆盖 10 个领域的 20 条链。六种近期自进化方法在认证模型上提升不超过 5 分,仅排除 6-12% 的未见成员,低于直接保留原始练习历史的 20%;一句说明命名分组约定的固定提示可让这些方法提升 14.5 至 16.5 分。

10月5日周一
  1. GitHub Blog · AI & ML71

    GitHub 发布 人工智能(AI,Artificial Intelligence) 代码评审开放基准 ReviewBench

    GitHub 发布 人工智能(AI,Artificial Intelligence) 代码评审开放基准 ReviewBench,包含 219 个公开拉取请求、覆盖 19 种语言,并公开数据集、评分规则和评审模型。

    推荐理由:GitHub 公开了基准数据集、评分规则和评审模型,读者可以据此复现评测,并了解离线结果与线上实验的对应关系。