研究发布十四款模型医学推理与基准污染评估

Navapat Nananukul 和 Mayank Kejriwal 在 arXiv 发布研究，评估六家厂商的 14 款模型在四个医学基准共 3076 道题上的表现。标准选择题设置下，最强模型在 MedQA-USMLE 和 PubMedQA 上超过人类专家基线；但小模型比同厂大模型低 8.7 个百分点，六个小模型中只有两个达到医师资格考试的人类专家线。 研究还用去掉选项、仅凭选项重建隐藏题干两种设置评估基准污染。

AI 根据报道生成 · 4 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。