SecPRBench 基准：智能体代码审查能否在合并前发现漏洞
论文提出 SecPRBench，用于评估智能体在真实代码变更上的安全审查能力，已从 Firefox、V8、OpenSSL 等九个关键系统收集 265 个任务。八个前沿模型的召回率在 32.5% 到 78.1% 之间，Grok 4.6 与 GPT-6 sol 居前。
#评测/基准
arXiv · cs.AI模型评分5252 arXiv · cs.AI模型评分5252 DialFork 发布对话智能体流程幻觉评测基准
研究团队提出 DialFork 基准，用于在原始对话文本上评测对话智能体的流程幻觉，即单句流畅可信但偏离既定对话流程的失败模式。该基准通过在受控轮次位置分叉合规对话并注入四类幻觉构建，覆盖 12 个领域 24 项任务共 36,278 段对话，由 30 名人工标注者验证。
arXiv · cs.AI模型评分5555 三项预注册研究考察评测框架对长寿调优语言模型的修复效果
作者围绕一个冻结的长寿调优 1.7B 模型开展三项预注册研究，检验评测框架（harness，指包裹模型、负责调用与解析输出的评测流程）带来的增益是否超过固定答案。
arXiv · cs.AI模型评分4545 CogBattery：用人类认知任务评测语言模型的行为与结构
CogBattery 在 13 个认知范式的文本改编任务上评测了 54 个开放权重语言模型，并与各原始研究中的人类数据对照。模型和人类一样对 n-back 诱饵更敏感，但在普通非目标上误报远多于人类，多数模型的置信度区分正误的能力弱于人类，且无论分类是否准确都倾向选择同一赌注。研究还发现模型得分可归结为两个维度，其中一个与规模密切相关，但更大的模型并不总是更接近人类。
arXiv · cs.AI模型评分4848 BeyondArena：表格基础模型在真实场景下到底有多通用？
研究团队推出首个统一表格数据基准 BeyondArena，覆盖 IID、时序和分组任务，并配套数据集整理框架 DataFoundry。在 11 个模型、142 个数据集上的测试显示，开源表格基础模型在 10 万行以内数据上具备竞争力，但分组或大规模数据仍由传统树模型和深度学习模型主导。
arXiv · cs.AI模型评分4242 EvoMemBench：从自进化视角评测 大语言模型（LLM，Large Language Model） 智能体记忆能力
研究者提出 EvoMemBench，一个按记忆范围（单回合内与跨回合）和记忆内容（知识型与执行型）两个维度组织的统一基准，用于评测大语言模型（LLM，Large Language Model）智能体的记忆机制。
arXiv · cs.AI模型评分4646 Speech-DRAME：面向语音角色扮演的人类对齐评测基准框架
Speech-DRAME 框架包含双语人工标注基准 Speech-DRAME-EvalBench 和微调的音频语言评测器 DRAME-Eval，用于评估语音角色扮演中的韵律、情感表达与角色贴合度。
arXiv · cs.AI模型评分5353 研究：模型把事实改写成故事时，来源一致性指标漏掉了哪些失真
一项研究让三个模型家族把 2000 篇新闻改写成摘要和故事，逐项比对五个 W（即事件的人物、时间、地点、原因、方式）上的变化，并判断每处失真是否由指定视角合理带来，结果有三分之一被排除。
arXiv · cs.AI模型评分4444 AgentOrch 基准：全局编排与逐步交互的准确率差距有多大？
AgentOrch 基准在 650 条企业标准作业程序和 3,220 个运行时变体上，用匹配的工具、环境和评测直接比较全局编排与逐步交互。逐步交互在所有被测模型上仍更准确，但差距从早期模型到最强近期模型已缩小约 79%。
arXiv · cs.AI模型评分4646 研究：置信度分数能否判断 文本转结构化查询语言（text-to-SQL，Text to Structured Query Language） 答案正确性？基于 BIRD 与 Spider 的探索性研究
一项研究审计了生产级对话分析系统中置信度分数的设计，在 BIRD dev 的 1,534 道题上由 GPT-5.1 每题采样五次作答，该分数区分对错的能力较弱（AUROC 0.624），并会扣留 35.7% 的正确答案。
arXiv · cs.AI模型评分4949 GENSTRAT：用程序化生成博弈评测大语言模型的策略推理能力
GENSTRAT 通过程序化生成双人零和不完全信息下注博弈，按状态空间、时序偶然性等五个复杂度维度刻画每局游戏，并构建了 50 局基准，让 12 个前沿与开放权重模型进行了超过 4 万场对战。结果显示，在 8 局最难游戏上，最好与最差模型的差距是全部游戏上差距的 1.7 倍；更高的思考预算、向模型披露对手策略、以及与游戏需求匹配的推理深度，都与模型更高的胜率差相关。
arXiv · cs.AI模型评分5555 研究发现人工智能（AI，Artificial Intelligence）评估器偏好特定AI模型撰写的求职申请，与候选人质量无关
一项多模型审计研究将11个大语言模型（LLM，Large Language Model）写作智能体与9个应用程序编程接口（API，Application Programming Interface）托管的评估智能体在10个职位描述、每个职位50名候选人上交叉配对，发现评估器对写作模型存在一致的偏好排序，且本地部署模型无论许可证如何都系统性处于劣势。
arXiv · cs.AI模型评分5454 BlindToChange 基准：人工智能（AI，Artificial Intelligence） 智能体被问才找变化，需要时却不主动查
研究者提出 BlindToChange 基准，衡量 人工智能（AI，Artificial Intelligence） 智能体是否会主动发现影响回答的近期现实变化。
arXiv · cs.AI模型评分5353 ANGLER 提出基于验证器的网页智能体红队基准 REEF
作者提出 REEF，一个带真实状态验证的网页智能体红队测试基准，覆盖旅行、电商、办公、媒体和通信等 9 个可执行网站，每个正常任务都配一个通过 5 类攻击方式注入的恶意目标。
arXiv · cs.AI模型评分4343 WeGenEditBench 与 WeGenEvoStudio：图像编辑评测与模型进化基准
研究团队推出图像编辑评测基准 WeGenEditBench，包含 2,740 个评测实例和 148 种任务类型，覆盖单图、文本密集和多参考图编辑，用预生成检查清单把每个请求拆成原子要求并逐项扣分。
arXiv · cs.AI模型评分4949 ROSTrans：面向 ROS1 到 ROS2 迁移的大语言模型基准测试
ROSTrans 基准用 108 个任务评测大语言模型把 ROS1 代码迁移到 ROS2 的能力，任务来自 70 多个开源仓库，按接口、行为和系统三级正确性划分。六个前沿模型 pass@1 均低于 10.9%，56.5% 的样本编译成功却在运行时失败。执行引导修复三轮后，Claude Opus 4.6 和 GPT-5.5 的任务成功率分别升至 49.1% 和 47.2%。
arXiv · cs.AI模型评分4444 TetraState：面向学习型世界模型的回归测试协议，单一判定不够用
研究者提出 TetraState 回归测试协议，针对成对的可实现/不可实现视频测试，在四种模型原生配置下运行并给出四类结果，同时把测试框架本身纳入版本管理。
arXiv · cs.AI模型评分5757 研究刻画 大语言模型（LLM，Large Language Model） 智能体在模块遮蔽环境中的行为
研究提出一套评估框架，对 大语言模型（LLM，Large Language Model） 智能体轨迹中的观察、推理、执行和回复行为进行编码，并与独立的环境记录对齐，以还原执行历史、核验最终报告。
arXiv · cs.AI模型评分4646 测试时搜索何时真正帮到世界动作模型？Cosmos Policy 与 RoboCasa 的候选选择与仿真器完整性审计
一项预注册审计在 Cosmos Policy 和 RoboCasa 上检验测试时搜索的三项前提：学习型价值选择器比随机选择差 1.66 个百分点，事后最优选择仅提升 1.40 个百分点，82% 的状态下候选结果完全相同。
arXiv · cs.AI模型评分5252 研究用 722 份联合国安理会记录和五项测试量化大语言模型的国家倾向
研究团队用 722 份联合国安全理事会（UNSC，United Nations Security Council）官方记录，对 GPT-4o-mini、Llama 3.3-70B、Mistral-22B-Small 和 Qwen3-30B 四款大语言模型（LLM，Large Language Model）做国家倾向评测，并首次为每项测试明确设定无偏基准。
arXiv · cs.AI模型评分4747 BULLPEN：用多通道模型嵌入实现样本高效的大语言模型画像
BULLPEN 框架在 EmbedLLM 基础上扩展，首次将模型自身回答文本与正确性、问题文本联合编码，并新增 20 个行为、风格与来源类任务基准。在 260 个开放权重模型上，其回答文本编码器在新任务上得分 0.48±0.10，优于此前最佳编码器的 0.35±0.10；仅用 400 个问题即可保留全量问题池至少 91% 的能力，推理计算量约为全量池的 1.3%。
arXiv · cs.AI模型评分3333 MarketImage 诊断框架：交易价格能否反映视觉偏好
研究团队提出 MarketImage 诊断框架，用 266 组六图对比集和保留平局的价格-人类排序协议，检验交易价格何时反映视觉偏好。结果显示仅 24.2% 图像对有非平局价格方向，其中 34.7% 与人类多数一致，HPSv2 在该区域以 66.4% 可恢复准确率领先。作者认为交易价格只能作为不确定的代理信号，而非真实偏好标准。
arXiv · cs.AI模型评分3737 SERIAL-7：面向七种表示的可执行验证基准，衡量机器可验证输出
SERIAL-7 是一个韩英双语基准，用可执行验证框架检验大语言模型在七种表示上的机器可验证生成，包含 177 个经校验的规范产物和 43 条原子表示约束。它把任务拆成语义推导、受限产物生成和跨表示保持三步，并逐级加严检查格式、结构与任务语义。在十个模型上，REALIZE-L3 的 HSR 从 42.0% 到 93.9%，完全合规检查还暴露出最终答案正确、表示合法之外的产物级失败。
arXiv · cs.AI模型评分3838 ImplicitHop：评估大语言模型跨上下文与记忆的知识整合能力
研究者提出 ImplicitHop 基准，包含形式化图基准和基于真实知识图谱的知识组合基准，用于评估大语言模型（LLM，Large Language Model）在不同推理深度下的演绎推理与知识整合能力。测试显示，无论知识来自预训练权重还是上下文，准确率都随组合长度增加而急剧下降，但上下文提供的信息明显优于权重中编码的信息。该结果量化了当前模型在提示词控制智能体行为和持续学习方面的根本局限。
arXiv · cs.AI模型评分3535 CPA：反事实成对增强提升小型逐点 大语言模型（LLM，Large Language Model） 评判器
研究者提出反事实成对增强（CPA，Counterfactual Pairwise Augmentation），为每个逐点样本合成并审核一条同查询、标签相反的反事实回答，把接受的样本对转为成对任务，与逐点数据联合微调后仍以逐点模式部署。
arXiv · cs.AI模型评分4242 研究：GPT-5 mini 与 Grok 4 Fast 超九成外部知识问题会搜索，Mistral Small 仅两成
一项新基准用 400 道选择题测试五个商用大语言模型（LLM，Large Language Model）何时该搜索、何时该直接作答，题目分为应直接回答的已知知识和训练截止后新闻类外部知识两类。
arXiv · cs.AI模型评分4444 帕累托自适应压缩（PACE，Pareto-Adaptive Compression for Efficient Native MLLMs）：用重复人工评分预测代理优化下的人类收益曲线
研究者提出 帕累托自适应压缩（PACE，Pareto-Adaptive Compression for Efficient Native MLLMs）（Proxy Alignment and Curvature Expansion），一种在优化前用重复人工评分预测固定代理目标所带来人类感知收益曲线的诊断方法。
arXiv · cs.AI模型评分4848 BABA-Bench：评估长程患者权益代理的基准
研究团队构建了 BABA-Bench，包含 47 个由真实患者权益案例脱敏改造的交互环境，用于检验 人工智能（AI，Artificial Intelligence） 智能体（Agent）能否在达成正确结果的同时遵守必要流程。
arXiv · cs.AI模型评分6767 ReplayRCA 基准发布：用反事实重放衡量智能体失败的诊断与实时监督
研究者提出 ReplayRCA 基准，用反事实重放给智能体失败诊断打分：把环境恢复到出错步骤之前，用诊断模型给出的动作替换原动作，再让同一智能体继续执行，以继续成功率的提升幅度作为因果修复分数。
arXiv · cs.AI模型评分5151 P-ContextBench 发布：从个人事实回忆到个性化智能体行为
研究团队发布 P-ContextBench，一个用于评估大语言模型理解个人上下文能力的基准，包含 100 个数字人、10,088 条隐藏事实、18,261 条应用记录片段和 4,810 个已验证测试用例。
arXiv · cs.AI模型评分4444 FABench：面向预测智能体的可扩展回测基准发布
研究团队推出 FABench，一个面向预测智能体（Forecasting Agents）的可扩展回测环境，自动发现事件、生成问题并结算结果，首个版本包含九个领域的 287 道问题。
arXiv · cs.AI模型评分4444 音频大语言模型多模态语音情感识别的不一致感知评估
研究提出一种无需阈值的连续“不一致分数”，用双分量高斯混合把文本与音频在效价-唤醒-支配空间中的距离量化，并用人类判断验证。在 eNTERFACE'05、MELD 和 CMU-MOSEI 三个语料上评估三款音频能力模型后发现，只要音频存在，不一致就会提高出错几率，而同样特征训练的监督分类器表现相反。代码、数据表和提示词已公开。
arXiv · cs.AI模型评分4242 SafeWebWorld 基准：网页世界模型的安全充分性评估
研究团队提出 SafeWebWorld 基准，从五个网页安全领域评估世界模型预测是否保留帮助系统判断何时执行、询问或阻止的信息。对十个冻结开源模型的 3000 条预测做人工评估显示，86.1% 语义上合理，但部分模型授权行为高度不对称：误判为可安全执行的比例低，却对需澄清的询问情形召回差，且强烈倾向阻止。
arXiv · cs.AI模型评分4848 CLR-Bench：在隐藏规则课程上评测自进化智能体
研究者提出 CLR-Bench，用每层新增一条隐藏规则的课程链评测自进化智能体能否学到没人告知的规则，并发布覆盖 10 个领域的 20 条链。六种近期自进化方法在认证模型上提升不超过 5 分，仅排除 6-12% 的未见成员，低于直接保留原始练习历史的 20%；一句说明命名分组约定的固定提示可让这些方法提升 14.5 至 16.5 分。
Microsoft Research模型评分4242 微软用合成企业数据评估 Microsoft Copilot 的 人工智能（AI，Artificial Intelligence） 置信度
微软构建了行业评估数据生成平台（Industry Evaluation Data Generation Platform），用基于 O*NET、招聘信息和 SEC 文件等公开数据生成的全合成企业环境来评估 Microsoft Copilot，避免使用客户敏感数据。
GitHub Blog · AI & ML精选模型评分7171 GitHub 发布 人工智能（AI，Artificial Intelligence） 代码评审开放基准 ReviewBench
GitHub 发布 人工智能（AI，Artificial Intelligence） 代码评审开放基准 ReviewBench，包含 219 个公开拉取请求、覆盖 19 种语言，并公开数据集、评分规则和评审模型。
推荐理由：GitHub 公开了基准数据集、评分规则和评审模型，读者可以据此复现评测，并了解离线结果与线上实验的对应关系。