SecPRBench 基准:智能体代码审查能否在合并前发现漏洞
论文提出 SecPRBench,用于评估智能体在真实代码变更上的安全审查能力,已从 Firefox、V8、OpenSSL 等九个关键系统收集 265 个任务。八个前沿模型的召回率在 32.5% 到 78.1% 之间,Grok 4.6 与 GPT-6 sol 居前。
论文提出 SecPRBench,用于评估智能体在真实代码变更上的安全审查能力,已从 Firefox、V8、OpenSSL 等九个关键系统收集 265 个任务。八个前沿模型的召回率在 32.5% 到 78.1% 之间,Grok 4.6 与 GPT-6 sol 居前。
STRIATUM-CTF 是一个通过模型上下文协议(MCP,Model Context Protocol)在 大语言模型(LLM,Large Language Model) 推理与工具执行之间做中介的模块化 CTF 解题智能体框架,协议层会在执行前拒绝不符合 schema 的工具调用。
作者提出 Concordat,一个把智能体接口定义为有限状态协议并在运行时强制执行的 Python 库,模型每轮只能看到当前状态允许的工具,越界调用在产生副作用前被拒绝。
作者提出 REEF,一个带真实状态验证的网页智能体红队测试基准,覆盖旅行、电商、办公、媒体和通信等 9 个可执行网站,每个正常任务都配一个通过 5 类攻击方式注入的恶意目标。
论文提出 Caper,一种面向编码智能体的后果感知审批机制:先在快照沙箱中预执行每条命令,把观察到的效果整理成有界报告交给独立审批方,放行的命令提交、拦截的命令回滚并附上可供智能体处理的原因。
MetaVul 是一个面向漏洞检测的自我改进框架,能从种子结构化推理脚手架出发,通过工作流优化循环迭代改进智能体执行框架(harness,即包裹大语言模型的脚手架代码),并返回一组帕累托最优框架。
研究提出一套评估框架,对 大语言模型(LLM,Large Language Model) 智能体轨迹中的观察、推理、执行和回复行为进行编码,并与独立的环境记录对齐,以还原执行历史、核验最终报告。
作者提出 PrivacyFlow 防护方法,把隐私规划与任务执行分开,在执行前追踪每条数据流的来源与用途、模拟接收方背景知识和外部可推断的信息,再权衡披露风险与任务效用,决定执行、阻止或询问用户。
研究提出一种面向固定版本计算机使用部署的 profile 限定授权协议,通过枚举带效果的路径与持久写入点、将请求归一化为规范效果并签发路由绑定的准备票据,在提交时再次校验路由、效果、授权与状态。
LanG 2.0 是一个面向安全运营中心(SOC,Security Operations Center)的智能体系统,负责检测威胁、关联证据并编写规则,研究小型本地模型能否在结构性防护而非模型准确率提供保障的前提下,低成本且安全地替代前沿模型。
研究者提出 ReplayRCA 基准,用反事实重放给智能体失败诊断打分:把环境恢复到出错步骤之前,用诊断模型给出的动作替换原动作,再让同一智能体继续执行,以继续成功率的提升幅度作为因果修复分数。
GitHub 为密钥扫描训练了专用分类器,采用正则筛选加 ModernBERT 上下文分类的两阶段流程,替代此前的 大语言模型(LLM,Large Language Model) 流水线。相比旧方案,用户告警接受率提升 11.5%,推送后扫描中位执行时间缩短 86%,服务成本降低 98% 以上。该效率使通用密钥检测得以扩展到推送保护,在代码推送前就返回结果。
GitHub 发布与 Microsoft Applied Sciences 合作微调的 ModernBERT 分类器,把推送保护扩展到无固定格式的密钥,可在两毫秒内评估一批候选密钥,并称可让可拦截的密钥数量翻倍以上。
推荐理由:GitHub 用九个季度的数据说明密钥泄露与代码量同步增长,并给出把防护成本从人工转移到模型推理的思路。