SecPRBench 基准:智能体代码审查能否在合并前发现漏洞
论文提出 SecPRBench,用于评估智能体在真实代码变更上的安全审查能力,已从 Firefox、V8、OpenSSL 等九个关键系统收集 265 个任务。八个前沿模型的召回率在 32.5% 到 78.1% 之间,Grok 4.6 与 GPT-6 sol 居前。
论文提出 SecPRBench,用于评估智能体在真实代码变更上的安全审查能力,已从 Firefox、V8、OpenSSL 等九个关键系统收集 265 个任务。八个前沿模型的召回率在 32.5% 到 78.1% 之间,Grok 4.6 与 GPT-6 sol 居前。
研究者提出 EvoMemBench,一个按记忆范围(单回合内与跨回合)和记忆内容(知识型与执行型)两个维度组织的统一基准,用于评测大语言模型(LLM,Large Language Model)智能体的记忆机制。
AgentOrch 基准在 650 条企业标准作业程序和 3,220 个运行时变体上,用匹配的工具、环境和评测直接比较全局编排与逐步交互。逐步交互在所有被测模型上仍更准确,但差距从早期模型到最强近期模型已缩小约 79%。
GENSTRAT 通过程序化生成双人零和不完全信息下注博弈,按状态空间、时序偶然性等五个复杂度维度刻画每局游戏,并构建了 50 局基准,让 12 个前沿与开放权重模型进行了超过 4 万场对战。结果显示,在 8 局最难游戏上,最好与最差模型的差距是全部游戏上差距的 1.7 倍;更高的思考预算、向模型披露对手策略、以及与游戏需求匹配的推理深度,都与模型更高的胜率差相关。
研究者提出 BlindToChange 基准,衡量 人工智能(AI,Artificial Intelligence) 智能体是否会主动发现影响回答的近期现实变化。
作者提出 REEF,一个带真实状态验证的网页智能体红队测试基准,覆盖旅行、电商、办公、媒体和通信等 9 个可执行网站,每个正常任务都配一个通过 5 类攻击方式注入的恶意目标。
研究提出一套评估框架,对 大语言模型(LLM,Large Language Model) 智能体轨迹中的观察、推理、执行和回复行为进行编码,并与独立的环境记录对齐,以还原执行历史、核验最终报告。
BULLPEN 框架在 EmbedLLM 基础上扩展,首次将模型自身回答文本与正确性、问题文本联合编码,并新增 20 个行为、风格与来源类任务基准。在 260 个开放权重模型上,其回答文本编码器在新任务上得分 0.48±0.10,优于此前最佳编码器的 0.35±0.10;仅用 400 个问题即可保留全量问题池至少 91% 的能力,推理计算量约为全量池的 1.3%。
研究者提出 ReplayRCA 基准,用反事实重放给智能体失败诊断打分:把环境恢复到出错步骤之前,用诊断模型给出的动作替换原动作,再让同一智能体继续执行,以继续成功率的提升幅度作为因果修复分数。
研究团队推出 FABench,一个面向预测智能体(Forecasting Agents)的可扩展回测环境,自动发现事件、生成问题并结算结果,首个版本包含九个领域的 287 道问题。
研究者提出 CLR-Bench,用每层新增一条隐藏规则的课程链评测自进化智能体能否学到没人告知的规则,并发布覆盖 10 个领域的 20 条链。六种近期自进化方法在认证模型上提升不超过 5 分,仅排除 6-12% 的未见成员,低于直接保留原始练习历史的 20%;一句说明命名分组约定的固定提示可让这些方法提升 14.5 至 16.5 分。
GitHub 发布 人工智能(AI,Artificial Intelligence) 代码评审开放基准 ReviewBench,包含 219 个公开拉取请求、覆盖 19 种语言,并公开数据集、评分规则和评审模型。
推荐理由:GitHub 公开了基准数据集、评分规则和评审模型,读者可以据此复现评测,并了解离线结果与线上实验的对应关系。