arXiv · cs.AI · Conor Igoe, Gabriel Grand, Zane Koch, Albert Bou, Eli Moss, Michaela M. Hinks, Samuel G. Rodriques, Andrew White, Siddharth Narayanan · 11 小时前模型评分49
语言模型能判断什么是有说服力的科学证据吗？EDB-Bio 基准发布
Do Language Models Know What Compelling Scientific Evidence Looks Like?
导读
研究者构建了科学推理基准 EDB-Bio，从药物扰动转录组学、CRISPR 筛选和人类全基因组关联分析（GWAS，Genome-Wide Association Studies）三个生物学领域的真实数据中整理出 96k 个任务，要求模型预测目标假设为真的概率。
分类置信度
中 · 待人工复核
- 存在未解决的相邻类别：foundation-models，需要人工复核。
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
应用领域：医疗与生命科学、科学研究
事件类型：研究发布
证据摘录
- “We introduce EDB-Bio, a scientific reasoning benchmark curated from real-world data in three biological domains: drug-perturbation transcriptomics, CRISPR screens, and human genome-wide association studies (GWAS).”
- “We release all code, data, and trained models.”
来源：arXiv · cs.AI · arxiv.org