THReD 基准评估 LLM Agent 的 EHR 预处理

研究团队发布 THReD 基准，评估一个基于聊天智能体的系统把电子健康记录提取数据转成 AI 可用数据集的能力。该系统提出的步骤须经用户确认后才执行；评估用按某区域健康信息交换校准的合成表，共 141 项任务、100 个模板，分属目标级请求、故障恢复、不应采取行动的请求、表结构变化和数据内提示注入等七类，以产出数据的检查结果判定成败。 在使用 Claude Haiku 5.5、四种上下文配置的逾 2,550 次测试中，部署版智能体首次回答即完成 92.7% 的任务（95% 置信区间 88.1–96.4），对所有咨询类请求均未作答（弃权），从每一次注入的故障中恢复，且从未提出数据中植入文本所要求的操作。去掉数据概况（data profile）后，完成率降至 58.0%；目标级请求最难，完成率 80.6%。代码、任务定义和逐次结果已按 DOI 发布在 Zenodo。

AI 根据报道生成 · 5 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。