ROSTrans:面向 ROS1 到 ROS2 迁移的大语言模型基准测试
ROSTrans 基准用 108 个任务评测大语言模型把 ROS1 代码迁移到 ROS2 的能力,任务来自 70 多个开源仓库,按接口、行为和系统三级正确性划分。六个前沿模型 pass@1 均低于 10.9%,56.5% 的样本编译成功却在运行时失败。执行引导修复三轮后,Claude Opus 4.6 和 GPT-5.5 的任务成功率分别升至 49.1% 和 47.2%。
ROSTrans 基准用 108 个任务评测大语言模型把 ROS1 代码迁移到 ROS2 的能力,任务来自 70 多个开源仓库,按接口、行为和系统三级正确性划分。六个前沿模型 pass@1 均低于 10.9%,56.5% 的样本编译成功却在运行时失败。执行引导修复三轮后,Claude Opus 4.6 和 GPT-5.5 的任务成功率分别升至 49.1% 和 47.2%。
研究团队推出 FrontierMat 基准,包含 330 道来自航空航天、半导体、具身智能和核聚变等前沿研究与工业实践的问题,每题均由领域实验专家验证。最强通用模型仅得 53.7%,跨尺度推理题比单尺度题低 8.7 分,一半题目最多只有一个模型能解出。采用元加权持续预训练与尺度模块化自蒸馏的领域适配方法,可将开源模型从 36.7% 提升至 55.4%,追平最强闭源模型。