arXiv · cs.AI · Navapat Nananukul, Mayank Kejriwal · 11 小时前模型评分54
研究评估十四款模型的医学推理能力与基准污染
From Small to Large: Assessing Medical Reasoning, Benchmark Contamination, and Model Size in Language Models
导读
一项研究评估了六家厂商的十四款模型在四个医学基准共 3076 道题上的表现，发现标准选择题设置下最强模型在 MedQA-USMLE 和 PubMedQA 上超过人类专家基线，但小模型比同厂大模型低 8.7 个百分点，六个小模型中只有两个通过医师资格考试的人类专家线。
分类置信度
中 · 待人工复核
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
应用领域：医疗与生命科学
事件类型：研究发布
证据摘录
- “In this study, we evaluate fourteen current models from six leading providers, one smaller and one larger model from each provider with two additional open-weight models, on 3,076 questions from four medical benchmarks (MedQA-USMLE, MedMCQA, PubMedQA, and MedBullets) under standard multiple choice, the same questions with the answer choices withheld, and reconstruction of a hidden question from its choices alone.”
来源：arXiv · cs.AI · arxiv.org