SecPRBench 基准:智能体代码审查能否在合并前发现漏洞
论文提出 SecPRBench,用于评估智能体在真实代码变更上的安全审查能力,已从 Firefox、V8、OpenSSL 等九个关键系统收集 265 个任务。八个前沿模型的召回率在 32.5% 到 78.1% 之间,Grok 4.6 与 GPT-6 sol 居前。
论文提出 SecPRBench,用于评估智能体在真实代码变更上的安全审查能力,已从 Firefox、V8、OpenSSL 等九个关键系统收集 265 个任务。八个前沿模型的召回率在 32.5% 到 78.1% 之间,Grok 4.6 与 GPT-6 sol 居前。
GUI-Lens 提出一种由粗到细的 GUI 定位框架,让通用视觉语言模型(VLM,Vision-Language Model)通过主动视觉观察逐步确定点击目标,在 ScreenSpot-Pro 上的准确率最高达到直接定位的 9.3 倍。
研究者提出 EvoMemBench,一个按记忆范围(单回合内与跨回合)和记忆内容(知识型与执行型)两个维度组织的统一基准,用于评测大语言模型(LLM,Large Language Model)智能体的记忆机制。
STRIATUM-CTF 是一个通过模型上下文协议(MCP,Model Context Protocol)在 大语言模型(LLM,Large Language Model) 推理与工具执行之间做中介的模块化 CTF 解题智能体框架,协议层会在执行前拒绝不符合 schema 的工具调用。
作者提出 Concordat,一个把智能体接口定义为有限状态协议并在运行时强制执行的 Python 库,模型每轮只能看到当前状态允许的工具,越界调用在产生副作用前被拒绝。
LegoSR 是一个统一代数符号回归与微分方程发现的框架,通过共同的方程表示和评估流程整合了七个求解器,并支持部分已知方程约束下的搜索。其 LegoSR Agent 能根据求解器知识、中间结果和过往任务经验选择求解器并调整搜索,在含噪常微分与偏微分方程基准上恢复的方程数量接近七个专家调优求解器的并集,且比同模型、同工具、同预算的通用智能体高出最多 29 个百分点。
AgentOrch 基准在 650 条企业标准作业程序和 3,220 个运行时变体上,用匹配的工具、环境和评测直接比较全局编排与逐步交互。逐步交互在所有被测模型上仍更准确,但差距从早期模型到最强近期模型已缩小约 79%。
LazyAgent 提出智能体运行时的按需执行机制,只运行当前请求真正需要的就绪步骤,并在计划变化时保持判断精确。在 154 个生产工作流的 303 个请求上,它相比急切运行方式节省 42.0% 的 CPU,在 LangGraph 应用中节省 24.0% 的费用,且无质量损失。该机制还能充当查询优化器,在候选工作流之间做选择。
研究提出一套智能体工具方法,用于自动完成场景预览、视频摘要和电影预告片三类视频编辑任务,三者在编辑目标、复杂度和创意程度上各不相同。团队评估了输出结果,并讨论了自动化与自主性(agency)的含义。
arXiv 管理员撤下了一篇关于智能体检索增强生成(Agentic 检索增强生成(RAG,Retrieval-Augmented Generation),Retrieval-Augmented Generation)的系统性知识综述(SoK,Systematization of Knowledge)论文,理由是未达到该平台的研究内容质量标准,目前无 PDF 可查看。
SimXAI 用一个支持工具调用的 大语言模型(LLM,Large Language Model) 取代 GUS 式架构中意图识别、对话管理和模板生成等独立模块,作为模块化接口连接现有可解释 人工智能(AI,Artificial Intelligence) 资源。
研究者提出 BlindToChange 基准,衡量 人工智能(AI,Artificial Intelligence) 智能体是否会主动发现影响回答的近期现实变化。
作者提出 REEF,一个带真实状态验证的网页智能体红队测试基准,覆盖旅行、电商、办公、媒体和通信等 9 个可执行网站,每个正常任务都配一个通过 5 类攻击方式注入的恶意目标。
论文提出在检索增强生成(RAG,Retrieval-Augmented Generation)的智能体检索流程中加入知识编译层,把文档加工成导航层级、实体图谱、时间线等结构化产物。
研究者提出 TSFLab,一个自改进且不绑定特定智能体的工作台,为兼容的编程智能体提供共享资源和工具,用于低成本的时间序列预测(TSF,Time Series Forecasting)研究及研究资源持续维护。
论文提出 Caper,一种面向编码智能体的后果感知审批机制:先在快照沙箱中预执行每条命令,把观察到的效果整理成有界报告交给独立审批方,放行的命令提交、拦截的命令回滚并附上可供智能体处理的原因。
MetaVul 是一个面向漏洞检测的自我改进框架,能从种子结构化推理脚手架出发,通过工作流优化循环迭代改进智能体执行框架(harness,即包裹大语言模型的脚手架代码),并返回一组帕累托最优框架。
研究提出一套评估框架,对 大语言模型(LLM,Large Language Model) 智能体轨迹中的观察、推理、执行和回复行为进行编码,并与独立的环境记录对齐,以还原执行历史、核验最终报告。
作者提出 PrivacyFlow 防护方法,把隐私规划与任务执行分开,在执行前追踪每条数据流的来源与用途、模拟接收方背景知识和外部可推断的信息,再权衡披露风险与任务效用,决定执行、阻止或询问用户。
EvoMCP 提出智能体与数据互相进化的框架,通过任务进化、轨迹进化和监督微调的闭环,让基于模型上下文协议(MCP,Model Context Protocol)的智能体持续针对自身能力短板生成训练数据。在 Toolathlon、MCPMark 和 MCP-Atlas 上,该方法相比初始学生模型分别取得 16.5%、10.2% 和 12.6% 的绝对提升。
针对工具超时导致 人工智能(AI,Artificial Intelligence) 智能体面临结果不明与部分执行的问题,研究者提出证据引导的任务恢复方法,结合标准观测 contingent 规划与独立实现的效果历史裁决器。
研究提出一种面向固定版本计算机使用部署的 profile 限定授权协议,通过枚举带效果的路径与持久写入点、将请求归一化为规范效果并签发路由绑定的准备票据,在提交时再次校验路由、效果、授权与状态。
LanG 2.0 是一个面向安全运营中心(SOC,Security Operations Center)的智能体系统,负责检测威胁、关联证据并编写规则,研究小型本地模型能否在结构性防护而非模型准确率提供保障的前提下,低成本且安全地替代前沿模型。
研究者提出能力锚定的智能体规划(CGAP,Capability-Grounded Agentic Planning),先把工具目录确定性地编译为规划领域定义语言(PDDL,Planning Domain Definition Language)模型,再由 大语言模型(LLM,Large Language Model) 将请求转为目标并交给经典规划器求解。
研究者提出 ReplayRCA 基准,用反事实重放给智能体失败诊断打分:把环境恢复到出错步骤之前,用诊断模型给出的动作替换原动作,再让同一智能体继续执行,以继续成功率的提升幅度作为因果修复分数。
研究团队推出 FABench,一个面向预测智能体(Forecasting Agents)的可扩展回测环境,自动发现事件、生成问题并结算结果,首个版本包含九个领域的 287 道问题。
研究者把大语言模型运行所依赖的基础设施(即运行框架)拆成八个功能组件,并提出一套可移植规范框架,记录哪个模型在哪个运行框架中运行。同一模型在不同运行框架配置下,报告分数可相差数倍,且智能体的攻击面很大一部分来自运行框架。现有模型卡和智能体卡未记录一次运行内有效配置的先后顺序,而运行框架可能在版本间、运行间乃至运行中发生变化。
研究者提出 CLR-Bench,用每层新增一条隐藏规则的课程链评测自进化智能体能否学到没人告知的规则,并发布覆盖 10 个领域的 20 条链。六种近期自进化方法在认证模型上提升不超过 5 分,仅排除 6-12% 的未见成员,低于直接保留原始练习历史的 20%;一句说明命名分组约定的固定提示可让这些方法提升 14.5 至 16.5 分。
AWS 发布教程,演示如何用 Amazon Bedrock AgentCore runtime 的会话端点(Session endpoints)在编码智能体修改文件时实时预览网页应用。
Epsilon 的智能体平台团队用 Amazon Nova Act 和 Amazon Bedrock AgentCore Browser Tool,把意图驱动的 UI 测试做成多租户平台服务,供各产品团队通过统一 应用程序编程接口(API,Application Programming Interface) 使用。
AWS 博客介绍如何用 人工智能(AI,Artificial Intelligence) 集成开发环境(集成开发环境(IDE,Integrated Development Environment))Kiro 搭建可重复的 PHP 到 Java 迁移引擎,把迁移拆成共享技能文件、发现扫描器和八阶段流程。
推荐理由:文章把 PHP 到 Java 的迁移拆成可复用的技能文件与八阶段流程,其中先建对照测试再写代码的顺序可以迁移到其他系统重写。
NVIDIA 展示了开发者用 GPT-6 Astra 等前沿 人工智能(AI,Artificial Intelligence) 模型配合 Omniverse 库构建仿真应用的多个项目,包括从现场扫描重建可编辑建筑模型、搭建燃气轮机数字孪生做假设分析、组装 SimReady 资产场景、仓库仿真压力测试和柔性线缆布线机器人控制测试。
GitHub 博客采访三位有十余年 Java 经验的 Java Champion,介绍他们在生产项目和开源项目中使用 GitHub Copilot 的具体做法。
GitHub 官方教程介绍如何把 GitHub Copilot 应用中的会话直接打开到 VS Code 继续处理,会话的任务、计划和对话记录、代码差异以及独立工作树都会一并保留。读者可以在 VS Code 中逐行审阅智能体的改动、手动编辑、在集成终端运行测试,再把改动推送到该会话关联的拉取请求。前提是已安装并登录 GitHub Copilot 应用和 VS Code,且对会话所在仓库有推送权限。
GitHub 发布 Copilot 入门教程,介绍四种让 Copilot 了解代码库的方式:自定义指令、智能体技能、自定义智能体和模型上下文协议(MCP,Model Context Protocol)服务器。
Microsoft Research Asia 开源 Agent Lightning v1.0,这是一个约 3500 行代码的轻量智能体强化学习框架,让部署时使用的智能体框架直接参与训练,无需在训练框架里重写智能体。
推荐理由:框架把部署用的智能体直接接入强化学习训练,并给出约 6000 条样本提升 14.6 个百分点的完整流程,可据此判断改造成本。
GitHub 博客提出开发者应对 人工智能(AI,Artificial Intelligence) 工作方式变化的三项技能:学会指挥 AI 智能体(Agent)而非只使用它,用第二个模型审查 AI 输出,并借 AI 节省的时间处理更大问题。文中以 GitHub Copilot 内置的 Rubber Duck 智能体为例,说明第二个模型可审查计划、代码和测试,补上首个模型遗漏的问题。
GitHub Copilot 应用介绍用 canvases(画布扩展)搭建自定义工作流的方法:在智能体会话中输入 /create-canvas 技能,用自然语言描述工作流、界面操作和智能体可执行的动作,智能体就会生成界面并在右侧面板打开,无需手写代码或调整布局。