PA-SciML:用物理审计约束大语言模型智能体的科学机器学习发现
研究者提出 Physics-Audited Agentic SciML(PA-SciML)框架,把大语言模型智能体与物理审计结合,在候选搜索前固定叠加性、边界条件和因果性等物理契约,并在无参考解情况下对预测场做对抗性检验。
研究者提出 Physics-Audited Agentic SciML(PA-SciML)框架,把大语言模型智能体与物理审计结合,在候选搜索前固定叠加性、边界条件和因果性等物理契约,并在无参考解情况下对预测场做对抗性检验。
GENSTRAT 通过程序化生成双人零和不完全信息下注博弈,按状态空间、时序偶然性等五个复杂度维度刻画每局游戏,并构建了 50 局基准,让 12 个前沿与开放权重模型进行了超过 4 万场对战。结果显示,在 8 局最难游戏上,最好与最差模型的差距是全部游戏上差距的 1.7 倍;更高的思考预算、向模型披露对手策略、以及与游戏需求匹配的推理深度,都与模型更高的胜率差相关。
研究者提出生成式递归推理模型(GRAM,Generative Recursive reAsoning Models),将原本确定性的递归潜在推理改为随机潜在轨迹,支持多条假设、多种解法以及按递归深度和并行轨迹采样扩展推理计算。GRAM 用摊销变分推断训练,在结构化推理和多解约束满足任务上优于确定性循环与递归基线,并具备无条件生成能力。
研究者提出时间审查微调(TCFT,Temporal Critique Fine-Tuning)框架,训练大语言模型在给定查询、时间截止点和候选回答时识别截止点之后的信息泄漏并判断回答是否时间上可接受。
ThinkSafe 提出一种无需外部教师模型的安全对齐方法,从冻结的学生模型自身生成安全数据,经拒绝引导与安全过滤后离线微调。在 DeepSeek-R1-Distill 和 Qwen3 上,该方法显著提升安全性且推理性能保持竞争力;在 Qwen3-0.6B 上,其安全性和推理表现与 GRPO 相当,但包含数据生成在内的实际耗时约为后者的七分之一。
arXiv 管理员撤下了 Ax-Prover 论文,理由是未达到该站研究内容质量标准,目前无 PDF 可看。
研究者提出一种面向非线性实数算术可满足性模理论(SMT-NRA,Satisfiability Modulo the Theory of Nonlinear Real Arithmetic)的混合求解框架,将新提出的二维单元跳跃局部搜索框架 2D-LS 与 MCSAT、OpenCAD 结合,通过信息交换提升搜索效率。
研究者提出一种基于 Transformer 的共享模块化递归架构,利用模块间交互补全部分缺失的上下文特征,在 MuJoCo 机器人集合上实现通用形态控制。在四种环境中,该架构对动力学、运动学和拓扑结构均未见过的新机器人取得显著提升的零样本泛化性能。
研究者提出分层世界模型 ID-WM(Implicit Dynamics World Models),用高层模型采样状态空间中可行的状态转移,再由低层世界模型作为逆动力学求解器把转移落到精确动作上。在三个导航与操作测试集上,它比现有最优的策略与扩散模型规划器提升 38.5%,相比单层世界模型 MPC 在复杂未见长程任务中提升 135%。
作者提出名为 Zyphra Hierarchical Attention(ZHA)的稀疏注意力方法,用分层树状索引器在 KV 缓存上递归压缩键摘要,使包含路由与最终注意力的总成本随序列长度次线性增长,整体呈次平方但超线性扩展。
研究提出思维链因果奖励方法CRoS(Causality Reward on Scrambled CoTs),通过打乱推理步骤顺序而不改动内容来评估思维链的因果作用,避免以往删除步骤或注入错误带来的信息变化干扰。
一项研究比较了在预训练后给模型加循环层(让每个 token 多次通过同一组层)的收益与推理成本,在 Qwen3 和 Qwen3.5 的 0.8B 至 9B 模型上,只有 0.8B 的循环模型同时胜过等参数无循环模型和等推理浮点运算(FLOPs)基线。4B 和 9B 的循环模型未能胜过同结构无循环模型,说明在固定参数预算下,这种加循环的做法只对小模型划算。
研究团队提出 大语言模型(LLM,Large Language Model)-SR-UQ 框架,通过保留多个候选方程结构并利用它们之间的分歧来刻画函数形式的不确定性。在 LLM-SRBench 数据集上,标准保形区间在分布内覆盖达标,但在外推时经常失效;该框架扩展固定宽度保形方法以量化结构区间,显著提升外推覆盖并保持分布内覆盖,还可推广到其他符号回归方法。
Chronos-2 是可直接做零样本预测的时间序列基础模型(TSFM,Time Series Foundation Model),能建模多条时间序列之间以及外部协变量的相互作用,无需针对具体任务单独处理。
研究提出一种框架,利用基于470万次人类“异类判断”(Odd-One-Out,O1O)实验构建的66维行为衍生语义嵌入空间,为每个三元组推断最显著的决策维度并生成维度依据的语言解释。
研究提出面向科学 人工智能(AI,Artificial Intelligence) 的可观测特定有效性记录,把近似方法与参考模型、误差度量、容差、参数域及干预变换绑定,为奇异摄动振子给出位移与速度证书并恢复不同收敛阶。
LYNX-ECG 将每次心跳表示为带时间戳转折点的稀疏可见图,在 CODE-Test 上取得 0.889 的宏 F1 分数,超过包括 ECGFounder 基础模型在内的五个基线,图存储量约为逐样本建图的 14%。
Latent-Lens 用约 160 万参数(占两模型总规模 0.2%)的轻量编解码器,在冻结的视觉语言模型(VLM,Vision-Language Model)与冻结的小语言模型(SLM,Small Language Model)之间直接传递隐状态,替代有损的文本通信。
针对视觉语言模型在文本密集推理中常出现“答案正确但中间步骤看错图”的 Correct-but-Visually-Misgrounded Reasoning(CVMR)现象。
研究者提出免训练的难度感知思维链(DA-思维链(CoT,Chain of Thought),Difficulty-Aware Chain-of-Thought)框架。
研究提出 ORION,一个分层编排器,用两个大语言模型(LLM,Large Language Model)智能体把服务意图转成结构化请求并生成抽象放置方案,再由协作式多智能体强化学习协调器选择跨域划分。其核心是结果驱动的情景记忆,把每次尝试的网络状况、方案与可行性结果回传给规划器,在固定下游机制的控制实验中使接纳率提升 4.6–11.5 个百分点。
一项 arXiv 分析提出把长上下文扩散模型的成本拆成两个预算:注意力图可用的边数,以及每个 token 激活的专家数,并据此统一考察局部、膨胀与全局注意力同条件专家计算的关系。
SparseGDN 是一个硬件感知框架,通过结构化分块近似和依赖输入的循环事件选择,为每个 token 生成输出,从而降低长上下文预填充的开销。在 Qwen3.5-4B 和 Qwen3.5-9B 上测试 4K 至 128K 上下文,平均保留约 29% 的循环事件,相比原生 FLA 内核实现 1.50-1.94 倍 GDN 核心预填充加速。
研究者提出 GraphMP,一种基于学习的消息传递解码器,可在不微调的情况下跨码族、码长、物理错误率和噪声模型迁移。它用局部消息传递保持计算可扩展,并由预测引导束搜索逐步修正候选错误模式,以更多解码时间换取更低逻辑错误率。团队还提出“解码器模型工厂”范式,用模型引导搜索产生的已验证轨迹做知识蒸馏,让解码器逐代提升并随噪声变化调整策略。
研究者提出预测式符号二进编码(PG,Predictive Signed-Dyadic Coding),为每个输入通道维护本地预测,仅在残差超过学习阈值时发送带符号和 2 的幂次幅值的事件,接收端用定点移位与加法重建。
GenDSR 将视频生成模型的中间表征迁移到视觉语言模型(VLM,Vision-Language Model)中,用于动态空间推理。它构建保留整体生成上下文的原始分支和强调时间变化的差分分支,再用按任务条件的逐 token 门控融合两路信号并注入原生视觉表征。在 DSR-Bench 上,GenDSR 取得 67.2%,超过此前最佳结果。
研究团队提出 ART of PIV,为每对粒子图像自动选择测速流程配置,在同等速度预算下将平均端点误差(AEPE)较最佳单一估计器降低 12.2-22.4%,速度覆盖 1000-4000 图像对/秒。在模拟局部速度调节任务中,闭环成本较调优后的固定估计器下降 13.24-13.59 个百分点。团队还在桌面水槽的流体风车实验中用 DreamerV3 强化学习控制器实现了尾流指定流场跟踪。
研究者提出无需训练的 Agentic Soft-Token Compression(ASTC),利用模型原生的混合 Gated Delta Network(GDN)-attention 循环动态判断已吸收的信息,将其作为智能体软 token 前传,同时以硬 token 保留精确值。
研究测试了 Jev 与 Clef-Flash 两种结构化决策模型在每类仅 2 张参考图时的缺陷检测表现,在五个制造案例中准确率分别为 0.75-1.00 和 0.71-0.99,均高于 CLIP 的 0.67-0.84。
论文在九个提示词与程序合成基准上做了 1,750 次预注册实验,把父代继承与每轮反馈广度分开考察。结果显示贪心父代继承贡献了绝大部分优化进展,即使种子重置方案每轮拿到全部失败的聚类摘要或使用更大的提议模型也未能反超。作者还拆解了 GEPA 的 token 开销,发现提议模型反思只占小部分成本,验证与小批量筛选几乎吃掉全部预算。
研究者提出 Muon-RT,通过复用教师与学生之间的位移来消除隐藏权重矩阵的动量缓冲区,从而降低持续训练内存。
一项理论研究分析了随机舍入(SR,Stochastic Rounding)在低精度训练中如何随模型规模、训练时间和精度变化影响预测风险,并给出最终模型与参数平均的预测误差上下界。
论文指出,语言模型强化学习后训练中,优化器保留 fp32 主权重,但 rollout 使用的是经 round-to-nearest 转换得到的 bf16 副本;在常用学习率下,多数单步更新小于半个 bf16 间距而被丢弃,Qwen3-1.7B 上每步仅 0.4-0.5% 的权重发生变化,生成训练数据的策略落后优化器 50-150 步。
针对视觉-语言-动作模型(VLA,Vision-Language-Action)动作输出附近的表征未能充分保留任务相关视觉定位的问题,研究者提出免训练推理方法 STAR,对后层残差更新做指数移动平均,让后层动作表征继承前层的物体感知更新方向,并用本体状态调节混合强度。在机器人操作基准上,STAR 将平均任务成功率提升 4.0 个百分点,代码已公开。
一项被 NeurIPS 2026 接收的研究提出,引导向量(SVs,Steering Vectors)除推理时控制行为外,还可作为大语言模型后训练的训练信号。
研究把大语言模型强化学习中的训练-推理不匹配拆成推理引擎的数值差异与异步采样的策略滞后两类,并追踪二者在训练中的演化。基于此提出的差异-滞后修正(DLC,Discrepancy-Lag Correction)在 Qwen3-0.6B 和 Qwen3-1.7B 上使陈旧采样器下的 KL 散度保持在两次独立同策略训练之间 KL 的两倍以内。
研究者提出 GAIM 和 Q-DAIM 两种键值缓存(KV-cache)压缩方法,分别基于广义经验插值法(GEIM,Generalized Empirical Interpolation Method)和 Q-离散经验插值法(Q-DEIM。
研究者为具备"任意任务推理"(ATI,any-task inference)能力的基础模型给出形式化数学定义,将其界定为直接把数据样本和任务映射为标签预测的模型。该框架证明这类模型可经"通用任务归约"分解为编码器、模型和解码器三部分,并据此把模型误差拆成设计项与已实现模型超额项。作者还提出生成式与判别式两类实现配方,并用 5 个真实基础模型案例验证定义的适用性。
研究在无验证条件下对比了连续扩散语言模型(CDLM,Continuous Diffusion Language Model)LangFlow 与 DSpark 的 Markov、循环头架构的独立生成能力,全部从零训练于 OpenWebText 无条件下生成。
Safin-1.5 提出安全原生架构与递归安全提升方法,通过“发现—评估—修复”循环持续修补风险,并只在安全提升且通用能力不降、过度拒答受限时接受更新。模型还配备推理时形式化推理框架,结合符号推理与验证生成可检查证明。实验显示其在安全与推理性能上超过前沿模型。