DialFork 发布对话智能体流程幻觉评测基准
研究团队提出 DialFork 基准，用于在原始对话文本上评测对话智能体的流程幻觉，即单句流畅可信但偏离既定对话流程的失败模式。该基准通过在受控轮次位置分叉合规对话并注入四类幻觉构建，覆盖 12 个领域 24 项任务共 36,278 段对话，由 30 名人工标注者验证。
#评测/基准
arXiv · cs.AI模型评分5252 arXiv · cs.AI模型评分4848 BeyondArena：表格基础模型在真实场景下到底有多通用？
研究团队推出首个统一表格数据基准 BeyondArena，覆盖 IID、时序和分组任务，并配套数据集整理框架 DataFoundry。在 11 个模型、142 个数据集上的测试显示，开源表格基础模型在 10 万行以内数据上具备竞争力，但分组或大规模数据仍由传统树模型和深度学习模型主导。
arXiv · cs.AI模型评分4646 Speech-DRAME：面向语音角色扮演的人类对齐评测基准框架
Speech-DRAME 框架包含双语人工标注基准 Speech-DRAME-EvalBench 和微调的音频语言评测器 DRAME-Eval，用于评估语音角色扮演中的韵律、情感表达与角色贴合度。
arXiv · cs.AI模型评分5353 研究：模型把事实改写成故事时，来源一致性指标漏掉了哪些失真
一项研究让三个模型家族把 2000 篇新闻改写成摘要和故事，逐项比对五个 W（即事件的人物、时间、地点、原因、方式）上的变化，并判断每处失真是否由指定视角合理带来，结果有三分之一被排除。
arXiv · cs.AI模型评分4343 WeGenEditBench 与 WeGenEvoStudio：图像编辑评测与模型进化基准
研究团队推出图像编辑评测基准 WeGenEditBench，包含 2,740 个评测实例和 148 种任务类型，覆盖单图、文本密集和多参考图编辑，用预生成检查清单把每个请求拆成原子要求并逐项扣分。
arXiv · cs.AI模型评分4949 ROSTrans：面向 ROS1 到 ROS2 迁移的大语言模型基准测试
ROSTrans 基准用 108 个任务评测大语言模型把 ROS1 代码迁移到 ROS2 的能力，任务来自 70 多个开源仓库，按接口、行为和系统三级正确性划分。六个前沿模型 pass@1 均低于 10.9%，56.5% 的样本编译成功却在运行时失败。执行引导修复三轮后，Claude Opus 4.6 和 GPT-5.5 的任务成功率分别升至 49.1% 和 47.2%。
arXiv · cs.AI模型评分3333 MarketImage 诊断框架：交易价格能否反映视觉偏好
研究团队提出 MarketImage 诊断框架，用 266 组六图对比集和保留平局的价格-人类排序协议，检验交易价格何时反映视觉偏好。结果显示仅 24.2% 图像对有非平局价格方向，其中 34.7% 与人类多数一致，HPSv2 在该区域以 66.4% 可恢复准确率领先。作者认为交易价格只能作为不确定的代理信号，而非真实偏好标准。
arXiv · cs.AI模型评分3737 SERIAL-7：面向七种表示的可执行验证基准，衡量机器可验证输出
SERIAL-7 是一个韩英双语基准，用可执行验证框架检验大语言模型在七种表示上的机器可验证生成，包含 177 个经校验的规范产物和 43 条原子表示约束。它把任务拆成语义推导、受限产物生成和跨表示保持三步，并逐级加严检查格式、结构与任务语义。在十个模型上，REALIZE-L3 的 HSR 从 42.0% 到 93.9%，完全合规检查还暴露出最终答案正确、表示合法之外的产物级失败。
arXiv · cs.AI模型评分3838 ImplicitHop：评估大语言模型跨上下文与记忆的知识整合能力
研究者提出 ImplicitHop 基准，包含形式化图基准和基于真实知识图谱的知识组合基准，用于评估大语言模型（LLM，Large Language Model）在不同推理深度下的演绎推理与知识整合能力。测试显示，无论知识来自预训练权重还是上下文，准确率都随组合长度增加而急剧下降，但上下文提供的信息明显优于权重中编码的信息。该结果量化了当前模型在提示词控制智能体行为和持续学习方面的根本局限。
arXiv · cs.AI模型评分4242 研究：GPT-5 mini 与 Grok 4 Fast 超九成外部知识问题会搜索，Mistral Small 仅两成
一项新基准用 400 道选择题测试五个商用大语言模型（LLM，Large Language Model）何时该搜索、何时该直接作答，题目分为应直接回答的已知知识和训练截止后新闻类外部知识两类。
arXiv · cs.AI模型评分4848 BABA-Bench：评估长程患者权益代理的基准
研究团队构建了 BABA-Bench，包含 47 个由真实患者权益案例脱敏改造的交互环境，用于检验 人工智能（AI，Artificial Intelligence） 智能体（Agent）能否在达成正确结果的同时遵守必要流程。
arXiv · cs.AI模型评分5151 P-ContextBench 发布：从个人事实回忆到个性化智能体行为
研究团队发布 P-ContextBench，一个用于评估大语言模型理解个人上下文能力的基准，包含 100 个数字人、10,088 条隐藏事实、18,261 条应用记录片段和 4,810 个已验证测试用例。
arXiv · cs.AI模型评分4242 SafeWebWorld 基准：网页世界模型的安全充分性评估
研究团队提出 SafeWebWorld 基准，从五个网页安全领域评估世界模型预测是否保留帮助系统判断何时执行、询问或阻止的信息。对十个冻结开源模型的 3000 条预测做人工评估显示，86.1% 语义上合理，但部分模型授权行为高度不对称：误判为可安全执行的比例低，却对需澄清的询问情形召回差，且强烈倾向阻止。
Microsoft Research模型评分4242 微软用合成企业数据评估 Microsoft Copilot 的 人工智能（AI，Artificial Intelligence） 置信度
微软构建了行业评估数据生成平台（Industry Evaluation Data Generation Platform），用基于 O*NET、招聘信息和 SEC 文件等公开数据生成的全合成企业环境来评估 Microsoft Copilot，避免使用客户敏感数据。