arXiv · cs.AI · Omar Nusrat · 4 小时前模型评分45
MedPhysBench：评估语言模型医学物理计算与错误检测能力的基准
MedPhysBench: A Benchmark for Evaluating Language Models on Medical Physics Calculations and Error Detection
导读
MedPhysBench 基准用十类生成器出题，覆盖放射治疗、诊断影像、核医学与辐射防护的医学物理计算，并配套错误检测题。在 1200 道留出测试题上，12 个模型计算得分 33.3% 至 100.0%，多数模型在三级临床任务上表现最差，Claude Sonnet 5.5 在 20 道等中心 MU 题中有 19 道漏掉平方反比修正。
分类置信度
中 · 待人工复核
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
应用领域：医疗与生命科学
事件类型：研究发布
证据摘录
- “MedPhysBench has ten seeded generators of calculation items in radiation therapy, diagnostic imaging, nuclear medicine and radiation protection, up to clinical tasks such as a TG-51 calibration worksheet.”
- “On a held-out test split of 1,200 items (half for two models), 12 models scored 33.3 to 100.0% on calculation.”
- “We report the effect of two problems in our shielding items, found after the runs, and release the code, per-item outcomes and targeted-test responses.”
来源：arXiv · cs.AI · arxiv.org