跳到正文
今天11月2日周一97 条
  1. arXiv · cs.AI42

    Turing 大语言模型(LLM,Large Language Model) 后训练:校准蒸馏与高效动态 混合专家(MoE,Mixture of Experts) 执行

    研究提出 Turing 大语言模型(LLM,Large Language Model) 后训练方案,将校准多教师同策略蒸馏(C-MOPD)与动态路由混合专家(混合专家(MoE,Mixture of Experts))执行路径结合,在 Turing-20B-A2B 上四领域归一化整合得分达 0.9988,每个领域保留至少 90.16% 的专家增益。

  2. arXiv · cs.AI33

    分层协作生成流网络(HCG,Hierarchical Cooperative GFlowNets):分层协作 生成流网络(GFlowNets,Generative Flow Networks) 提升采样探索覆盖

    研究者提出分层协作生成流网络(HCG,Hierarchical Cooperative GFlowNets),通过共享分类器动态划分搜索空间,让排名靠前的模型探索全空间、靠后的模型转向未被覆盖区域,避免多个采样器塌缩到同一高奖励区。该方法还给出归一化加权聚合规则,并证明在给定假设下可恢复目标奖励比例分布。在多模态分布、序列生成、组合优化和生物序列设计实验中,HCG 提升了模式覆盖与目标逼近效果。

  3. arXiv · cs.AI31

    苏格拉底式引导策略优化(SOPO,Socratic Guided Policy Optimization):用苏格拉底式引导策略优化做片段级幻觉检测

    研究提出苏格拉底引导策略优化(苏格拉底式引导策略优化(SOPO,Socratic Guided Policy Optimization),Socratic Guided Policy Optimization),一种多轮强化学习框架,通过教师模型在 rollout 中提供间接提示来引导推理轨迹,缓解难例奖励稀疏问题。

  4. arXiv · cs.AI41

    HyCO:结合强化学习与扩散模型的混合神经组合优化求解器

    研究者提出混合神经求解器HyCO,先用强化学习(RL,Reinforcement Learning)求解器构建解的前缀,再自适应切换到条件扩散模型(DM,Diffusion Model)完成剩余决策。理论分析证明该混合结构期望遗憾严格低于任一单独骨干,且存在唯一最优切换步;实验在多个基准上取得一致提升。代码与检查点已公开,论文被NeurIPS 2026接收。

  5. arXiv · cs.AI45

    CogBattery:用人类认知任务评测语言模型的行为与结构

    CogBattery 在 13 个认知范式的文本改编任务上评测了 54 个开放权重语言模型,并与各原始研究中的人类数据对照。模型和人类一样对 n-back 诱饵更敏感,但在普通非目标上误报远多于人类,多数模型的置信度区分正误的能力弱于人类,且无论分类是否准确都倾向选择同一赌注。研究还发现模型得分可归结为两个维度,其中一个与规模密切相关,但更大的模型并不总是更接近人类。

  6. arXiv · cs.AI32

    研究揭示稠密联想记忆的自由能景观

    一项研究用大偏差理论求解稠密联想记忆(dense associative memory)的自由能泛函,给出多项式交互与 Log-Sum-Exponential(LSE)激活下随温度变化的表达式,并得到大量极限下的无序平均基态能量景观。该框架揭示高阶稠密网络的记忆检索依赖初始状态,并给出 LSE 模型的精确无误阈值。

  7. arXiv · cs.AI38

    语义最优传输用于稀疏自编码器特征匹配与电路压缩

    研究者提出一种基于分布的最优传输方法,用于匹配跨层稀疏自编码器(SAE,Sparse Autoencoder)特征并自动将大型特征电路压缩为可解释的超级节点。该方法把每个特征表示为激活加权分布而非单一解码向量,通过投影到共享参考空间并用 Wasserstein 距离比较,实验表现优于解码向量和基于大语言模型的基线。

  8. arXiv · cs.AI39

    自我改进智能体的相对可计算性理论:区分能力获取与独立性认证

    一篇 31 页论文提出自我改进智能体的相对可计算性理论,用显式的获取与完成契约把“学会求解器”和“认证其已脱离教师”分开。对已知有限维布尔特征语言,带守卫的协议可在保证以最优教师调用次数完成的同时允许修改查询提议者,所得求解器无需教师即可回答所有输入。核心障碍在于完成规格无法从任意全程序中被基线有效过程统一提取,即使只有一个特征维度或两个候选描述。

  9. arXiv · cs.AI38

    基于高斯过程动力学模型与恢复式屏蔽的安全强化学习

    研究者提出一种恢复式屏蔽框架,让强化学习在未知非线性连续系统中具备可证明的安全下界。该方法用高斯过程(GP,Gaussian Process)量化不确定性以预测安全约束违反,仅在必要时切换到备份策略恢复安全轨迹,并借助内部模型采样实现无限制探索与样本高效学习。在多个连续控制环境中,该方法表现出较强性能并严格满足安全约束。

  10. arXiv · cs.AI42

    SOReL 与 TOReL:实现完全离线强化学习的方法框架

    研究提出完全离线的贝叶斯基于模型强化学习方法 SOReL,通过学习动力学后验、用预测不确定性估计策略价值,实现全程离线的超参数选择;TOReL 则把该调参框架扩展到任意无模型与基于模型的离线强化学习算法。作者给出遗憾分析,证明贝叶斯离线强化学习在标准正则条件下达到极小极大最优参数速率。

  11. arXiv · cs.AI33

    TintCF:用时间信息为协同过滤去噪

    研究提出 TintCF 机制,通过生成融合全局偏好与时间模式的时间感知用户/物品嵌入向量(embedding),并采用重加权邻接矩阵(Tint-A)和重加权损失函数(Tint-L)两种策略识别并修正噪声交互。在四个真实数据集上的实验显示,时间信息确实有助于找出并纠正噪声边,提升推荐模型对隐式反馈噪声和恶意交互的鲁棒性。代码已公开。

  12. arXiv · cs.AI64

    代数世界模型 AWM 提出:把陌生环境交互转成可证明的数学模型

    论文提出代数世界模型(AWM,Algebraic World Model),把与陌生环境的交互转化为可形式化推理的显式数学模型。AWM 先探索环境并生成可执行的 Python 假设,再按观测不断测试和修正,随后把假设整理成带类型的对象与共享规则,用范畴论引导的变换简化结构,最终在 Lean 4 中形式化以证明可达性与不可达性。

  13. arXiv · cs.AI46

    研究:置信度分数能否判断 文本转结构化查询语言(text-to-SQL,Text to Structured Query Language) 答案正确性?基于 BIRD 与 Spider 的探索性研究

    一项研究审计了生产级对话分析系统中置信度分数的设计,在 BIRD dev 的 1,534 道题上由 GPT-5.1 每题采样五次作答,该分数区分对错的能力较弱(AUROC 0.624),并会扣留 35.7% 的正确答案。

  14. arXiv · cs.AI44

    WeFair:面向微信短视频搜索个性化查询改写的人类反馈保真对齐方法

    研究提出 WeFair,按人类反馈反映个性化意图的直接程度分级,用示范、偏好、验证三阶段训练 2B 查询改写模型。离线实验中 WeFair-2B 在整体准确率和意图保持上优于强基线,微信短视频搜索线上 A/B 测试显示有效视频观看率相对提升 2.593%、查询改写率相对下降 2.350%。该模型已部署于日均处理超 1 亿次查询的微信短视频搜索系统。

  15. arXiv · cs.AI30

    微调 Gemma-4 提升视觉语言模型 2D 与 3D 旋转空间推理能力

    研究团队用多个物体旋转数据集微调 Google DeepMind 的 Gemma-4 模型,发现微调后的混合专家(MoE,Mixture of Experts)版本在预测旋转轴和角度上明显优于通用版本,并显著改善无显式坐标系下的 2D 角度估计。实验还显示,可识别物体并未提升角度检测精度,具有明显线性特征的物体表现更好。

  16. arXiv · cs.AI31

    部分可观测下时序知识图谱记忆的神经符号元策略

    研究提出一种神经符号元策略,在部分可观测强化学习中学习在每个决策点选用哪种符号记忆启发式,执行仍保持符号化。该方法在 RoomKG 的时序知识图谱记忆环境中运行,隐藏状态与观测用资源描述框架(RDF,Resource Description Framework)图表示,记忆带时序 RDF 三元组标注,并通过问答、探索、遗忘三个价值头组成可适应且可检查的控制器。

  17. arXiv · cs.AI38

    GRAM:把递归潜在推理变成概率多轨迹计算

    研究者提出生成式递归推理模型(GRAM,Generative Recursive reAsoning Models),将原本确定性的递归潜在推理改为随机潜在轨迹,支持多条假设、多种解法以及按递归深度和并行轨迹采样扩展推理计算。GRAM 用摊销变分推断训练,在结构化推理和多解约束满足任务上优于确定性循环与递归基线,并具备无条件生成能力。

  18. arXiv · cs.AI42

    ThinkSafe:推理模型自生成安全对齐方法

    ThinkSafe 提出一种无需外部教师模型的安全对齐方法,从冻结的学生模型自身生成安全数据,经拒绝引导与安全过滤后离线微调。在 DeepSeek-R1-Distill 和 Qwen3 上,该方法显著提升安全性且推理性能保持竞争力;在 Qwen3-0.6B 上,其安全性和推理表现与 GRPO 相当,但包含数据生成在内的实际耗时约为后者的七分之一。