arXiv · cs.AI · Tianyi Ma, Jing Gu, Haozhe Zhao, Liang Chen, Yunfan Zhang, Haijun Su, Jialong Wu, Le Xue, Arnav Das, Dustin Tran, Yinfei Yang, Andrew Dai, Kuan Li · 5 小时前模型评分46
ScienceVision:人工智能(AI,Artificial Intelligence) 能否像科学家一样观察与推理?
ScienceVision: Can AI Observe and Reason Like a Scientist?
导读
研究者提出跨领域基准 ScienceVision,用 250 道专家级视觉问答题考察 人工智能(AI,Artificial Intelligence) 对科学 3D 数据的理解与推理,覆盖生物、化学、医学影像、机械 CAD 和建筑各 50 题。12 个模型在三种设置下作答,最高平均得分仅 0.53(满分 1);直接使用原生 3D 文件的工作流比只看渲染 2D 图像的流程平均高 17.2 个百分点。
分类置信度
中 · 待人工复核
- 只有单一媒体来源,需要人工复核。
来源级别:媒体与个人
应用领域:科学研究、医疗与生命科学
事件类型:研究发布
证据摘录
- “To assess these foundational capabilities, we introduce ScienceVision, a cross-domain benchmark for scientific 3D understanding and reasoning through expert-level visual question answering (VQA).”
- “We construct 250 questions, with 50 each from Biology, Chemistry, Medical Imaging, Mechanical CAD, and Architecture, through a pipeline combining synthetic question generation with domain-expert review and annotation.”
来源:arXiv · cs.AI · arxiv.org