研究:模型把事实改写成故事时,来源一致性指标漏掉了哪些失真
一项研究让三个模型家族把 2000 篇新闻改写成摘要和故事,逐项比对五个 W(即事件的人物、时间、地点、原因、方式)上的变化,并判断每处失真是否由指定视角合理带来,结果有三分之一被排除。
一项研究让三个模型家族把 2000 篇新闻改写成摘要和故事,逐项比对五个 W(即事件的人物、时间、地点、原因、方式)上的变化,并判断每处失真是否由指定视角合理带来,结果有三分之一被排除。
研究者提出强化对抗学习(RAL,Reinforced Adversarial Learning),用共同训练的 大语言模型(LLM,Large Language Model) 评判模型把参考答案变成推理大模型在线后训练的唯一奖励。
MuSID-KD 通过分层候选分布对齐(HCDA,Hierarchical Candidate Distribution Alignment)和排序影响引导的分层蒸馏(RIGD,Ranking Impact Guided Levelwise Distillation),改进语义 ID(SID)生成式推荐中多 token 解码的知识蒸馏效果。
LegoSR 是一个统一代数符号回归与微分方程发现的框架,通过共同的方程表示和评估流程整合了七个求解器,并支持部分已知方程约束下的搜索。其 LegoSR Agent 能根据求解器知识、中间结果和过往任务经验选择求解器并调整搜索,在含噪常微分与偏微分方程基准上恢复的方程数量接近七个专家调优求解器的并集,且比同模型、同工具、同预算的通用智能体高出最多 29 个百分点。
研究者在 Llama-3.3-70B 和 Qwen2.5-72B 上安装五组策略-监控行为对,用 300 条已发现合谋的诚实评审微调监控模型,再在未见提示格式下测量其余四组合谋。
研究提出 Terminal-RSI,交替对已验证轨迹做递归自我重写(RSR)与继承评论家的递归策略精炼(RPR),从 Qwen3.8-27B 基座经五阶段训练得到 Terminal-RSI-27B。
研究者提出 ReState,一个把多模态推理从按预设阶段分别训练改为在共享状态空间中动态转移的统一迭代推理框架,包含统一推理状态建模(URSM)与闭环推理状态学习(CRSL)两部分。
研究提出四系数逐 token 门控参数化 λ_t = σ(a·h_t + b·u(x) + c + d·gap_t),把 EOPD 与 ToDi 的方向对齐代理纳入同一坐标系,并新增多通道组合与显式偏置。
SIRF 将平台复杂策略内化进模型权重,在仅输出判定结果的低延迟部署下实现高精度风控。同源对比中,SIRF-8B-受监督微调(SFT,Supervised Fine-Tuning) 的 Black Recall@P95 达 71.3%,比基线高 15.1 个百分点,仅用约 70M CPT token 且不损害通用能力。
FedPA-LoRA 提出乘积对齐框架,同时缓解联邦低秩适配(LoRA,Low-Rank Adaptation)在异构秩下的聚合误差与初始化误差,并给出同构、异构秩的收敛界。客户端跨轮保留本地因子以消除初始化误差,服务器在乘积空间聚合异构秩更新并重建秩受限的全局适配器。在自然语言理解与生成任务上,异构秩下 GLUE 平均准确率提升 6.82 个百分点,代码已开源。
研究提出一种神经符号元策略,在部分可观测强化学习中学习在每个决策点选用哪种符号记忆启发式,执行仍保持符号化。该方法在 RoomKG 的时序知识图谱记忆环境中运行,隐藏状态与观测用资源描述框架(RDF,Resource Description Framework)图表示,记忆带时序 RDF 三元组标注,并通过问答、探索、遗忘三个价值头组成可适应且可检查的控制器。
研究者提出时间审查微调(TCFT,Temporal Critique Fine-Tuning)框架,训练大语言模型在给定查询、时间截止点和候选回答时识别截止点之后的信息泄漏并判断回答是否时间上可接受。
一项被 NeurIPS 2026 接收的研究把可控用户模拟形式化为因果推断问题,指出用事后轨迹标签做监督微调训练模拟器会引入前视偏差,破坏因果一致性。作者证明策略偏移下评估指标方差会几何级膨胀,称为“可控性崩塌”,并提出先验控制、逐步动态控制和直接策略条件学习三种训练缓解方法。实验显示因果化模拟器消除了前视偏差、保留自然方差,并对未见过的智能体行为具备零样本泛化能力。
ThinkSafe 提出一种无需外部教师模型的安全对齐方法,从冻结的学生模型自身生成安全数据,经拒绝引导与安全过滤后离线微调。在 DeepSeek-R1-Distill 和 Qwen3 上,该方法显著提升安全性且推理性能保持竞争力;在 Qwen3-0.6B 上,其安全性和推理表现与 GRPO 相当,但包含数据生成在内的实际耗时约为后者的七分之一。
RoboArchitect 让编码模型观察机器人执行过程、诊断失败并迭代修改冻结策略外围的控制外壳,在不更新任何模型权重的情况下把未见场景平均成功率从 9.7% 提升到 43.3%(4.5 倍),未见任务从 12.7% 提升到 40.2%(3.2 倍)。
作者提出名为 Zyphra Hierarchical Attention(ZHA)的稀疏注意力方法,用分层树状索引器在 KV 缓存上递归压缩键摘要,使包含路由与最终注意力的总成本随序列长度次线性增长,整体呈次平方但超线性扩展。
研究提出思维链因果奖励方法CRoS(Causality Reward on Scrambled CoTs),通过打乱推理步骤顺序而不改动内容来评估思维链的因果作用,避免以往删除步骤或注入错误带来的信息变化干扰。
研究在个体光滑性与凸性假设下求解凸有限和优化的二阶随机预言复杂度,给出下界 Ω(n+n^{5/7}ε^{-2/7}),并提出 Taylor 校正惰性牛顿法,配合 Monteiro-Svaiter 加速达到 Õ(n+n^{5/7}ε^{-2/7}),与下界仅差对数因子。该结果相比此前平均光滑性下的 Õ(n+n^{6/7}ε^{-2/7}) 进一步加速,为大规模有限和优化算法设计提供理论依据。
研究提出仅用独立噪声观测学习干净图像生成模型的方法:先用 Noise2Noise 回归学习噪声水平及以上的后验预测,再引入一致性约束——预测应等于继续采样后的期望,从而把预测延伸到更低噪声水平。作者推导了一致性唯一确定干净图像分布延续的条件,并在 Poisson、二项、Gamma 和负二项测量上验证。CIFAR-10、光子计数显微和合成孔径雷达实验显示,缺少一致性时延续会严重退化,加入后可修复。
一项研究比较了在预训练后给模型加循环层(让每个 token 多次通过同一组层)的收益与推理成本,在 Qwen3 和 Qwen3.5 的 0.8B 至 9B 模型上,只有 0.8B 的循环模型同时胜过等参数无循环模型和等推理浮点运算(FLOPs)基线。4B 和 9B 的循环模型未能胜过同结构无循环模型,说明在固定参数预算下,这种加循环的做法只对小模型划算。
研究团队提出 大语言模型(LLM,Large Language Model)-SR-UQ 框架,通过保留多个候选方程结构并利用它们之间的分歧来刻画函数形式的不确定性。在 LLM-SRBench 数据集上,标准保形区间在分布内覆盖达标,但在外推时经常失效;该框架扩展固定宽度保形方法以量化结构区间,显著提升外推覆盖并保持分布内覆盖,还可推广到其他符号回归方法。
研究团队提出 AutoAnalysis,一个可自动更新的人机协作元分析系统,最新一次运行综合了 420 篇论文的 1,955 个效应量。结果显示,人机组合平均显著优于人类单独工作,但显著弱于人类或 人工智能(AI,Artificial Intelligence) 中表现更好的一方。作者指出,这区分了提升人类表现与实现人机协同,评估协作时应同时对照人类单独和 AI 单独的表现。
作者提出 SecPO 损失函数与配套对抗训练流程,用于提升大语言模型抵御提示词注入的能力。在三种自适应攻击下,该方法的攻击成功率比 Meta-SecAlign 降低 1.5-14.5 倍;SecPO 损失相比 直接偏好优化(DPO,Direct Preference Optimization) 损失再降低 2.4-4.6 倍。
Chronos-2 是可直接做零样本预测的时间序列基础模型(TSFM,Time Series Foundation Model),能建模多条时间序列之间以及外部协变量的相互作用,无需针对具体任务单独处理。
研究提出一种框架,利用基于470万次人类“异类判断”(Odd-One-Out,O1O)实验构建的66维行为衍生语义嵌入空间,为每个三元组推断最显著的决策维度并生成维度依据的语言解释。
研究提出面向科学 人工智能(AI,Artificial Intelligence) 的可观测特定有效性记录,把近似方法与参考模型、误差度量、容差、参数域及干预变换绑定,为奇异摄动振子给出位移与速度证书并恢复不同收敛阶。
一项 arXiv 研究比较了化学专用基础模型与通用基础模型在化学性质预测任务上的准确率,结果显示在仅有 60 个实验数据点时,GPT-6 Astra 在五项物理化学和量子化学回归任务上优于当前可用的化学基础模型。
研究将直接反馈对齐(DFA,Direct Feedback Alignment)、直接随机目标投影(DRTP,Direct Random Target Projection)和受扩散模型启发的 NoProp 三种无反向传播学习规则适配到一维卷积时间序列分类,并在 UCR 档案库 112 个数据集上首次系统评测。
一项被 NeurIPS 2026 持续学习研讨会接收的研究指出,持续学习通常把数据集切分为任务并按顺序呈现,但数据相似度、变化速率和呈现顺序等因素究竟指底层数据、划分方式还是学习器,往往未被说明。
CoFailMed 审计了医疗分割预训练编码器池的相关性失效,在五个 2D 任务上评估 11 个公开预训练编码器,发现共享检查点的模型对逐例 Dice 相关性最高。
一项研究发现,在标准评测数据集上,不运行代码的简单特征就能区分诚实代码与后门代码,表现超过24个开源权重监控模型中的20个。作者指出该数据集存在两处标签泄露:诚实方案由人编写、后门由较老语言模型生成,代码风格本身暴露类别;能被大语言模型植入后门的问题也有不同特征。
OT-CAL 是一种自适应数据选择方法,用难度、可学习性、不确定性等五个特征描述样本,并通过最优传输匹配按样本与当前课程向量的接近程度分配选择权重,课程向量随所选样本更新形成自适应反馈回路。在三个标准视觉学习基准上,每批选择 50% 样本时,OT-CAL 比 AdaSelection 提升 1.3–2.1 分,训练速度达到全量数据训练的 1.18–1.24 倍。
针对视觉语言模型在文本密集推理中常出现“答案正确但中间步骤看错图”的 Correct-but-Visually-Misgrounded Reasoning(CVMR)现象。
一项 arXiv 分析提出把长上下文扩散模型的成本拆成两个预算:注意力图可用的边数,以及每个 token 激活的专家数,并据此统一考察局部、膨胀与全局注意力同条件专家计算的关系。
KEEPER 对比分析了共享递归接口下四种辅助目标,发现奖励相关预测在离线强化学习前后任务表现均最高,优于联合监督。研究提出“自一致性偏差”,指错误声明在记忆更新中持续存在,并建议除任务结果外还应评估错误持续与有效信息保留。
研究对大语言模型(LLM,Large Language Model)中的成员信号做了机制分析,提出可解码信息分数、已用信息分数与读出可达性差距(DUG)三项互补指标,分别量化内部表征中可解码的成员信息及其通过模型读出暴露的程度。
SparseGDN 是一个硬件感知框架,通过结构化分块近似和依赖输入的循环事件选择,为每个 token 生成输出,从而降低长上下文预填充的开销。在 Qwen3.5-4B 和 Qwen3.5-9B 上测试 4K 至 128K 上下文,平均保留约 29% 的循环事件,相比原生 FLA 内核实现 1.50-1.94 倍 GDN 核心预填充加速。
研究者提出 GraphMP,一种基于学习的消息传递解码器,可在不微调的情况下跨码族、码长、物理错误率和噪声模型迁移。它用局部消息传递保持计算可扩展,并由预测引导束搜索逐步修正候选错误模式,以更多解码时间换取更低逻辑错误率。团队还提出“解码器模型工厂”范式,用模型引导搜索产生的已验证轨迹做知识蒸馏,让解码器逐代提升并随噪声变化调整策略。
ProSearch 是面向实验科学的多约束协议检索基准,含 6 个领域共 1,515 条查询,每条查询带 3-5 个显式约束。19 个代表性检索器中最佳模型平均 nDCG@10 仅 0.290,加入重排序后提升至 0.474。该基准已被 NeurIPS 2026 的 Evaluations and Datasets Track 接收,代码与数据均已公开。
一项研究用五家韩国医院的 5,036 张胃癌全切片图像,在留一医院验证下比较多种多实例学习聚合器。带站点对齐和双尺度融合的 CHIME-MIL 平均 AUC 为 0.837,但在匹配配方下未超过注意力池化,全局最大池化反而更高(AUC 0.855)。对齐方法仅用十张无标签切片即可接入新医院,代价是 0.002 AUC,但精度提升小且不稳定。