跳到正文
今天11月2日周一180 条
  1. arXiv · cs.AI45

    研究:激活引导会改变大语言模型话语层面,可用第二向量干预修复

    研究发现,激活引导(activation steering,一种在推理阶段向大语言模型残差流激活加入向量、不重训权重也不改提示词的行为控制技术)会系统性地改变生成文本的话语维度,如正式程度、证据使用和模糊性。团队提出加入第二个互补向量来针对受影响的话语维度,该干预恢复了约 78% 的非预期话语变化,同时在约 93% 的生成中保留了预期的引导行为。

  2. arXiv · cs.AI36

    ORION:面向 RL 多域 6G 切片放置的结果驱动 大语言模型(LLM,Large Language Model) 顾问

    研究提出 ORION,一个分层编排器,用两个大语言模型(LLM,Large Language Model)智能体把服务意图转成结构化请求并生成抽象放置方案,再由协作式多智能体强化学习协调器选择跨域划分。其核心是结果驱动的情景记忆,把每次尝试的网络状况、方案与可行性结果回传给规划器,在固定下游机制的控制实验中使接纳率提升 4.6–11.5 个百分点。

  3. arXiv · cs.AI38

    KEEPER:为长程 大语言模型(LLM,Large Language Model) 智能体学习控制充分的文本记忆

    KEEPER 对比分析了共享递归接口下四种辅助目标,发现奖励相关预测在离线强化学习前后任务表现均最高,优于联合监督。研究提出“自一致性偏差”,指错误声明在记忆更新中持续存在,并建议除任务结果外还应评估错误持续与有效信息保留。

  4. arXiv · cs.AI38

    SparseGDN:线性注意力中的分块稀疏方法

    SparseGDN 是一个硬件感知框架,通过结构化分块近似和依赖输入的循环事件选择,为每个 token 生成输出,从而降低长上下文预填充的开销。在 Qwen3.5-4B 和 Qwen3.5-9B 上测试 4K 至 128K 上下文,平均保留约 29% 的循环事件,相比原生 FLA 内核实现 1.50-1.94 倍 GDN 核心预填充加速。

  5. arXiv · cs.AI35

    GraphMP:面向量子 LDPC 码的搜索知识蒸馏解码器模型工厂

    研究者提出 GraphMP,一种基于学习的消息传递解码器,可在不微调的情况下跨码族、码长、物理错误率和噪声模型迁移。它用局部消息传递保持计算可扩展,并由预测引导束搜索逐步修正候选错误模式,以更多解码时间换取更低逻辑错误率。团队还提出“解码器模型工厂”范式,用模型引导搜索产生的已验证轨迹做知识蒸馏,让解码器逐代提升并随噪声变化调整策略。

  6. arXiv · cs.AI38

    研究:基于基础模型特征时,更复杂的聚合器未能提升胃癌全切片图像跨医院判别力

    一项研究用五家韩国医院的 5,036 张胃癌全切片图像,在留一医院验证下比较多种多实例学习聚合器。带站点对齐和双尺度融合的 CHIME-MIL 平均 AUC 为 0.837,但在匹配配方下未超过注意力池化,全局最大池化反而更高(AUC 0.855)。对齐方法仅用十张无标签切片即可接入新医院,代价是 0.002 AUC,但精度提升小且不稳定。

  7. arXiv · cs.AI29

    GenDSR:从视频生成模型迁移表征实现动态空间推理

    GenDSR 将视频生成模型的中间表征迁移到视觉语言模型(VLM,Vision-Language Model)中,用于动态空间推理。它构建保留整体生成上下文的原始分支和强调时间变化的差分分支,再用按任务条件的逐 token 门控融合两路信号并注入原生视觉表征。在 DSR-Bench 上,GenDSR 取得 67.2%,超过此前最佳结果。

  8. arXiv · cs.AI45

    ERASE:用同策略自蒸馏擦除注入区域,防御多模态提示注入

    ERASE 通过在原位擦除被注入区域、保留周边媒体内容来构建参考视图,让读取受攻击媒体的学生模型从冻结基模型读取擦除视图的输出中学习。在图像、音频、视频和两种模型规模上,ERASE 在评测基准上观察到接近零的攻击成功率,同时任务效用接近无防御的干净输入水平;3B 音频上受攻击输入准确率达 60.1%,而 ARGUS 为 33.1%。

  9. arXiv · cs.AI34

    ART of PIV:面向主动流动控制的智能体实时粒子图像测速

    研究团队提出 ART of PIV,为每对粒子图像自动选择测速流程配置,在同等速度预算下将平均端点误差(AEPE)较最佳单一估计器降低 12.2-22.4%,速度覆盖 1000-4000 图像对/秒。在模拟局部速度调节任务中,闭环成本较调优后的固定估计器下降 13.24-13.59 个百分点。团队还在桌面水槽的流体风车实验中用 DreamerV3 强化学习控制器实现了尾流指定流场跟踪。

  10. arXiv · cs.AI31

    Coarse3D:面向图像到 3D 的可控且忠实的稀疏结构生成

    Coarse3D 能从任意无位姿图像生成方向可控、结构忠实的稀疏体素几何,并可直接替换现有图像到 3D 流程的粗阶段。它引入首帧锚定规范空间、双塔 DiT(Diffusion Transformer,扩散 Transformer)耦合前馈重建,以及用像素到体素对应约束交叉注意力的空间先验引导注意力。实验显示其稀疏结构质量与最终 3D 生成效果均达当前最优。

  11. arXiv · cs.AI51

    Lineage Is Memory:短预算 大语言模型(LLM,Large Language Model) 引导优化中的父代继承与反馈披露

    论文在九个提示词与程序合成基准上做了 1,750 次预注册实验,把父代继承与每轮反馈广度分开考察。结果显示贪心父代继承贡献了绝大部分优化进展,即使种子重置方案每轮拿到全部失败的聚类摘要或使用更大的提议模型也未能反超。作者还拆解了 GEPA 的 token 开销,发现提议模型反思只占小部分成本,验证与小批量筛选几乎吃掉全部预算。

  12. arXiv · cs.AI37

    欧盟新规强制披露算法规则:用自利 大语言模型(LLM,Large Language Model) 司机智能体评估网约车调度政策

    研究用自利的大语言模型(LLM,Large Language Model)司机智能体,评估欧盟《平台工作指令》要求披露调度规则后两类网约车调度政策的表现。在曼哈顿场景中,规则披露后司机拒绝改派的比例从约五分之四降至四分之一,但反应式政策平台利润下降 3.7%,两类政策利润差距达 6.1%。该研究为强制披露新规下的政策评估提供了框架。

  13. arXiv · cs.AI55

    论文指出 bf16 舍入丢弃多数强化学习策略更新,并提出一行修正方案 Fair Cast

    论文指出,语言模型强化学习后训练中,优化器保留 fp32 主权重,但 rollout 使用的是经 round-to-nearest 转换得到的 bf16 副本;在常用学习率下,多数单步更新小于半个 bf16 间距而被丢弃,Qwen3-1.7B 上每步仅 0.4-0.5% 的权重发生变化,生成训练数据的策略落后优化器 50-150 步。

  14. arXiv · cs.AI27

    CAMEL:面向超轻量视网膜基础模型的跨架构掩码嵌入学习

    研究提出跨架构知识蒸馏框架 CAMEL(Cross-Architecture Masked Embedding Learning,跨架构掩码嵌入学习),通过非对称掩码策略把大型教师基础模型的知识迁移到轻量学生模型。在四个数据集上的实验显示,CAMEL 在保持精度的同时大幅降低计算复杂度,使模型可部署于硬件受限的临床环境。

  15. arXiv · cs.AI36

    研究揭示大语言模型强化学习中训练-推理不匹配的来源与演化,提出 DLC 修正方法

    研究把大语言模型强化学习中的训练-推理不匹配拆成推理引擎的数值差异与异步采样的策略滞后两类,并追踪二者在训练中的演化。基于此提出的差异-滞后修正(DLC,Discrepancy-Lag Correction)在 Qwen3-0.6B 和 Qwen3-1.7B 上使陈旧采样器下的 KL 散度保持在两次独立同策略训练之间 KL 的两倍以内。

  16. arXiv · cs.AI31

    研究者提出"任意任务推理"基础模型的形式化理论框架

    研究者为具备"任意任务推理"(ATI,any-task inference)能力的基础模型给出形式化数学定义,将其界定为直接把数据样本和任务映射为标签预测的模型。该框架证明这类模型可经"通用任务归约"分解为编码器、模型和解码器三部分,并据此把模型误差拆成设计项与已实现模型超额项。作者还提出生成式与判别式两类实现配方,并用 5 个真实基础模型案例验证定义的适用性。

  17. arXiv · cs.AI42

    Safin-1.5:以安全原生架构与可验证推理实现递归安全提升

    Safin-1.5 提出安全原生架构与递归安全提升方法,通过“发现—评估—修复”循环持续修补风险,并只在安全提升且通用能力不降、过度拒答受限时接受更新。模型还配备推理时形式化推理框架,结合符号推理与验证生成可检查证明。实验显示其在安全与推理性能上超过前沿模型。