FrontierMat:面向材料研发前沿的语言模型基准测试
研究团队推出 FrontierMat 基准,包含 330 道来自航空航天、半导体、具身智能和核聚变等前沿研究与工业实践的问题,每题均由领域实验专家验证。最强通用模型仅得 53.7%,跨尺度推理题比单尺度题低 8.7 分,一半题目最多只有一个模型能解出。采用元加权持续预训练与尺度模块化自蒸馏的领域适配方法,可将开源模型从 36.7% 提升至 55.4%,追平最强闭源模型。
研究团队推出 FrontierMat 基准,包含 330 道来自航空航天、半导体、具身智能和核聚变等前沿研究与工业实践的问题,每题均由领域实验专家验证。最强通用模型仅得 53.7%,跨尺度推理题比单尺度题低 8.7 分,一半题目最多只有一个模型能解出。采用元加权持续预训练与尺度模块化自蒸馏的领域适配方法,可将开源模型从 36.7% 提升至 55.4%,追平最强闭源模型。
一项新基准用 400 道选择题测试五个商用大语言模型(LLM,Large Language Model)何时该搜索、何时该直接作答,题目分为应直接回答的已知知识和训练截止后新闻类外部知识两类。
一项研究提出可执行验证配置,在退款归属、税务处理等业务定义变化后重新校验固定 结构化查询语言(SQL,Structured Query Language) 查询,在 32 个新编写的修订族中保留 192 个查询-定义单元,其中 144 个不符合。
一项在合成人力资源与企业资源规划(HR/ERP)图谱上的研究,把薪资欺诈筛查建模为归纳式链接预测与实体排序,在 24 个留出组织上对比分析员规则、显式路径特征和图神经网络(GNN,Graph Neural Network)。
研究团队构建了 BABA-Bench,包含 47 个由真实患者权益案例脱敏改造的交互环境,用于检验 人工智能(AI,Artificial Intelligence) 智能体(Agent)能否在达成正确结果的同时遵守必要流程。
研究团队发布 P-ContextBench,一个用于评估大语言模型理解个人上下文能力的基准,包含 100 个数字人、10,088 条隐藏事实、18,261 条应用记录片段和 4,810 个已验证测试用例。
DiRAFT 从训练记录中提取金融概念图并记录概念首次出现的顺序,再依据聚合的转移、起始概念和计划长度先验采样新图,生成不依赖单条原始对话的合成金融对话记录。在 1,400 条投资者电话输出的人工评估中,随机采样比贪心和 top-3 更少命中非公开投资者事实,同时在转移保真度与结构重叠之间取得较好平衡。该研究只提供残余保密风险的实证证据,未给出形式化保证。
研究团队提出 SafeWebWorld 基准,从五个网页安全领域评估世界模型预测是否保留帮助系统判断何时执行、询问或阻止的信息。对十个冻结开源模型的 3000 条预测做人工评估显示,86.1% 语义上合理,但部分模型授权行为高度不对称:误判为可安全执行的比例低,却对需澄清的询问情形召回差,且强烈倾向阻止。
研究团队构建了 ProClaim 系统与 ProClaim-eval 数据集,用于检验 人工智能(AI,Artificial Intelligence) 智能体递归构建证据状态、以及判断何时停止的设计选择对科学共识主张验证的影响。
微软构建了行业评估数据生成平台(Industry Evaluation Data Generation Platform),用基于 O*NET、招聘信息和 SEC 文件等公开数据生成的全合成企业环境来评估 Microsoft Copilot,避免使用客户敏感数据。
Google DeepMind 与 Google Research 联合世界资源研究所(WRI,World Resources Institute)和国际应用系统分析研究所(IIASA。
微软研究院提出研究系统 StudentSim,用公开的去标识学习记录为每个学生训练个性化模拟器,在真实学习者测试之前评估和改进 人工智能(AI,Artificial Intelligence) 辅导系统。
推荐理由:微软研究院提出用真实学习记录训练个性化学生模拟器,在三个学科上给出可复用的评测协议和训练反馈路径。
加州大学伯克利分校 EECS 副教授 Aditya G. Parameswaran 等人发文提出,随着推理成本快速下降,数据系统面临三类新问题:为智能体设计的数据系统、支撑智能体集群运行的数据系统,以及由智能体自行生成的数据系统。