arXiv · cs.AI · Zhangshu Joshua Jiang, Zina Ibrahim, James T. Teo · 10 小时前模型评分29
研究者提出评估大语言模型临床推理表达能力的评分量表
A Proposed Rubric for Evaluating Expressed Clinical Reasoning in Large Language Model Responses
导读
研究者提出一套用于评估大语言模型回答中临床推理表达能力的多维评分量表，综合医学教育评估框架、临床大语言模型基准与通用推理评估研究，并引入“有据性”作为面向临床的事实性改编。量表包含暂定行为锚点、适用规则，以及单独标记病例特异性安全关键错误的机制。该量表尚未经过评分者间信度、构念效度或临床效用检验，当前目的是在实证测试前让评估决策显式化并可供审查。
分类置信度
中 · 待人工复核
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
应用领域：医疗与生命科学
事件类型：研究发布
证据摘录
- “We propose a rubric for assessing expressed clinical reasoning in model responses”
- “It has not yet been tested for inter-rater reliability, construct validity or clinical utility.”
- “The rubric does not replace case-specific reference criteria or the task-specific metrics of existing benchmarks.”
来源：arXiv · cs.AI · arxiv.org