DialFork 发布对话智能体流程幻觉评测基准
研究团队提出 DialFork 基准,用于在原始对话文本上评测对话智能体的流程幻觉,即单句流畅可信但偏离既定对话流程的失败模式。该基准通过在受控轮次位置分叉合规对话并注入四类幻觉构建,覆盖 12 个领域 24 项任务共 36,278 段对话,由 30 名人工标注者验证。
研究团队提出 DialFork 基准,用于在原始对话文本上评测对话智能体的流程幻觉,即单句流畅可信但偏离既定对话流程的失败模式。该基准通过在受控轮次位置分叉合规对话并注入四类幻觉构建,覆盖 12 个领域 24 项任务共 36,278 段对话,由 30 名人工标注者验证。
研究者提出 TradeWar 基准,把大语言模型(LLM,Large Language Model)智能体的多轮贸易谈判对话转成具体关税与贸易份额政策,在结算中施加产能与网络约束,并用经济健康指数(EHI,Economic Health Index)评估执行结果。
研究团队构建了 BABA-Bench,包含 47 个由真实患者权益案例脱敏改造的交互环境,用于检验 人工智能(AI,Artificial Intelligence) 智能体(Agent)能否在达成正确结果的同时遵守必要流程。
研究团队发布 P-ContextBench,一个用于评估大语言模型理解个人上下文能力的基准,包含 100 个数字人、10,088 条隐藏事实、18,261 条应用记录片段和 4,810 个已验证测试用例。
研究团队构建了 ProClaim 系统与 ProClaim-eval 数据集,用于检验 人工智能(AI,Artificial Intelligence) 智能体递归构建证据状态、以及判断何时停止的设计选择对科学共识主张验证的影响。
加州大学伯克利分校 EECS 副教授 Aditya G. Parameswaran 等人发文提出,随着推理成本快速下降,数据系统面临三类新问题:为智能体设计的数据系统、支撑智能体集群运行的数据系统,以及由智能体自行生成的数据系统。