arXiv · cs.AI · Sergio Burdisso, Esa\'u Villatoro-Tello, Dairazalia S\'anchez-Cort\'es, Yanis Labrak, Jordi Luque, Milos Cernak, Petr Motlicek · 8 小时前模型评分52
DialFork 发布对话智能体流程幻觉评测基准
DialFork: Going Beyond Factuality to Evaluate Procedural Hallucination in Conversational Agents
导读
研究团队提出 DialFork 基准，用于在原始对话文本上评测对话智能体的流程幻觉，即单句流畅可信但偏离既定对话流程的失败模式。该基准通过在受控轮次位置分叉合规对话并注入四类幻觉构建，覆盖 12 个领域 24 项任务共 36,278 段对话，由 30 名人工标注者验证。
分类置信度
中 · 待人工复核
- 存在未解决的相邻类别：ai-tooling，需要人工复核。
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
事件类型：研究发布
证据摘录
- “We introduce DialFork, the first benchmark to measure this failure mode on raw dialogue text.”
- “We release DialFork under open licenses at this https URL , hoping the community will measure conversational process alongside content.”
来源：arXiv · cs.AI · arxiv.org