跳到正文
今天11月2日周一11 条
  1. arXiv · cs.AI40

    ProSearch:实验科学多约束协议检索基准发布

    ProSearch 是面向实验科学的多约束协议检索基准,含 6 个领域共 1,515 条查询,每条查询带 3-5 个显式约束。19 个代表性检索器中最佳模型平均 nDCG@10 仅 0.290,加入重排序后提升至 0.474。该基准已被 NeurIPS 2026 的 Evaluations and Datasets Track 接收,代码与数据均已公开。

  2. arXiv · cs.AI49

    ROSTrans:面向 ROS1 到 ROS2 迁移的大语言模型基准测试

    ROSTrans 基准用 108 个任务评测大语言模型把 ROS1 代码迁移到 ROS2 的能力,任务来自 70 多个开源仓库,按接口、行为和系统三级正确性划分。六个前沿模型 pass@1 均低于 10.9%,56.5% 的样本编译成功却在运行时失败。执行引导修复三轮后,Claude Opus 4.6 和 GPT-5.5 的任务成功率分别升至 49.1% 和 47.2%。

  3. arXiv · cs.AI26

    SciGraphSelect:用知识-推理图实现可审计的科学数据筛选

    SciGraphSelect 提出一种基于知识-推理图的可审计科学数据筛选框架,通过概念覆盖、关系与路径共支撑及方向对齐为候选文档打分。该框架将领域知识、可复用推理操作和参考文献佐证的关系组织为带类型图,并公开每次筛选背后的证据,使科学训练语料的上游构建过程可追溯。

  4. arXiv · cs.AI48

    FrontierMat:面向材料研发前沿的语言模型基准测试

    研究团队推出 FrontierMat 基准,包含 330 道来自航空航天、半导体、具身智能和核聚变等前沿研究与工业实践的问题,每题均由领域实验专家验证。最强通用模型仅得 53.7%,跨尺度推理题比单尺度题低 8.7 分,一半题目最多只有一个模型能解出。采用元加权持续预训练与尺度模块化自蒸馏的领域适配方法,可将开源模型从 36.7% 提升至 55.4%,追平最强闭源模型。