跳到正文
今天11月2日周一164 条
  1. arXiv · cs.AI49

    ROSTrans:面向 ROS1 到 ROS2 迁移的大语言模型基准测试

    ROSTrans 基准用 108 个任务评测大语言模型把 ROS1 代码迁移到 ROS2 的能力,任务来自 70 多个开源仓库,按接口、行为和系统三级正确性划分。六个前沿模型 pass@1 均低于 10.9%,56.5% 的样本编译成功却在运行时失败。执行引导修复三轮后,Claude Opus 4.6 和 GPT-5.5 的任务成功率分别升至 49.1% 和 47.2%。

  2. arXiv · cs.AI51

    Lineage Is Memory:短预算 大语言模型(LLM,Large Language Model) 引导优化中的父代继承与反馈披露

    论文在九个提示词与程序合成基准上做了 1,750 次预注册实验,把父代继承与每轮反馈广度分开考察。结果显示贪心父代继承贡献了绝大部分优化进展,即使种子重置方案每轮拿到全部失败的聚类摘要或使用更大的提议模型也未能反超。作者还拆解了 GEPA 的 token 开销,发现提议模型反思只占小部分成本,验证与小批量筛选几乎吃掉全部预算。

  3. arXiv · cs.AI55

    论文指出 bf16 舍入丢弃多数强化学习策略更新,并提出一行修正方案 Fair Cast

    论文指出,语言模型强化学习后训练中,优化器保留 fp32 主权重,但 rollout 使用的是经 round-to-nearest 转换得到的 bf16 副本;在常用学习率下,多数单步更新小于半个 bf16 间距而被丢弃,Qwen3-1.7B 上每步仅 0.4-0.5% 的权重发生变化,生成训练数据的策略落后优化器 50-150 步。

  4. arXiv · cs.AI28

    WebOverlay:面向极端宽高比网页浮层检测的高吞吐纯视觉蒸馏方法

    WebOverlay 提出一种纯视觉网页浮层检测器,通过从前沿视觉语言教师模型蒸馏训练,无需解析 DOM 树即可识别 cookie 同意横幅、订阅提示等遮挡内容。它采用动态分块策略把极端宽高比的整页渲染切成保持宽高比的重叠图块,并配合宽高比感知的边界判定机制消除拼接伪影。该方法吞吐量比大型专有多模态模型高数个数量级,部署成本大幅降低,精度与召回率仍具竞争力。

  5. arXiv · cs.AI27

    CAMEL:面向超轻量视网膜基础模型的跨架构掩码嵌入学习

    研究提出跨架构知识蒸馏框架 CAMEL(Cross-Architecture Masked Embedding Learning,跨架构掩码嵌入学习),通过非对称掩码策略把大型教师基础模型的知识迁移到轻量学生模型。在四个数据集上的实验显示,CAMEL 在保持精度的同时大幅降低计算复杂度,使模型可部署于硬件受限的临床环境。

  6. arXiv · cs.AI36

    研究揭示大语言模型强化学习中训练-推理不匹配的来源与演化,提出 DLC 修正方法

    研究把大语言模型强化学习中的训练-推理不匹配拆成推理引擎的数值差异与异步采样的策略滞后两类,并追踪二者在训练中的演化。基于此提出的差异-滞后修正(DLC,Discrepancy-Lag Correction)在 Qwen3-0.6B 和 Qwen3-1.7B 上使陈旧采样器下的 KL 散度保持在两次独立同策略训练之间 KL 的两倍以内。

  7. arXiv · cs.AI48

    从遥操作到长程灵巧性:评估视觉运动技能与离线代理指标用于灵巧操作

    研究团队用五指机械手完成 RJ45 网线抓取与插入,在约 1700 次真机试验中评估了覆盖 7 个策略族的 281 个模仿学习策略。结果显示观测与动作表征比优化器和采样选择更关键:点云策略的感兴趣区域裁剪、机器人基座坐标系表征和点编码器内归一化各提升成功率 70-100 个百分点,视觉-语言-动作策略改用绝对动作预测后插入成功率最高提升 70 个百分点。

  8. arXiv · cs.AI34

    RiskyPy:面向 大语言模型(LLM,Large Language Model) 生成代码安全与功能联合评估的模型校准提示词生成

    RiskyPy 是一套自动化流程,用功能与漏洞“金丝雀”生成与模型能力相匹配的安全导向代码生成数据集,已针对 Python 覆盖 2025 CWE Top 25 中的 18 类 CWE、产出 101 条提示词。在 Qwen3-4B 和 Seed-Coder-8B 上,57-72% 的提示词能生成可运行代码,但仅 5-10% 的生成结果不含 Bandit 告警,为安全改进方法的联合评估留出空间。

  9. arXiv · cs.AI32

    研究:AlphaFold 3 类模型无需完整循环即可预测置信度,按需回收算力

    一项研究提出,AlphaFold 3 类模型(如 Boltz、Protenix)的置信度指标 ipSAE、ipTM 和结构一致性指标可在回收早期直接从主干网络预测。该预测器计算成本低、可微分且每个循环都可用,既能帮助系统判断何时执行、询问或阻止以合理分配筛选的回收预算,也可作为基于幻觉的设计的优化目标。两种用法均在显著降低计算成本的同时提升了性能。

  10. arXiv · cs.AI45

    研究:低秩适配(LoRA,Low-Rank Adaptation) 微调比全量微调显著降低大语言模型记忆泄露风险

    一项研究重新考察了大语言模型(LLM,Large Language Model)微调中的记忆问题,发现模型规模和数据重复等因素在 低秩适配(LoRA,Low-Rank Adaptation) 微调下并不遵循预训练和全量微调中的趋势。采用更宽松的基于相似度的记忆指标,LoRA 相比全量微调显著降低记忆风险,同时保持较强的任务表现。

  11. arXiv · cs.AI40

    联邦学习中的恶意梯度泄露:攻击难以兼顾有效与隐蔽,可用轻量检测拦截

    研究首次系统分析联邦学习(FL,Federated Learning)中恶意服务器操纵全局模型、诱发客户端梯度泄露隐私的攻击,发现这类攻击无法同时做到高还原效果和高隐蔽性,在含归一化与联邦平均的真实设置下尤其容易被基础监控发现。作者据此提出一种轻量客户端检测机制,在本地训练开始前标记可疑的模型更新,以很低开销为隐私敏感的联邦学习系统提供可部署的防护。

  12. arXiv · cs.AI39

    ACCT:跨 大语言模型(LLM,Large Language Model) 非对称上下文迁移,KV 缓存缩减 75% 仍保持性能

    研究者提出 ACCT(Asymmetric Cross-大语言模型(LLM,Large Language Model) Context Transfer,非对称跨大语言模型上下文迁移),把源模型的键值缓存(KV cache,Key-Value Cache)转换为目标模型可直接使用的稀疏 KV 状态,实现同系列不同规模模型间的上下文计算复用。

  13. arXiv · cs.AI39

    ID2Pattern:为交易风险基础模型预训练可泛化的身份行为模式

    ID2Pattern 预训练框架将卡号、设备、账户等高基数身份字段编码为跨交易序列的行为模式,而非依赖具体身份值。它先用 Local Anonymous ID(LAID)分词器捕捉身份在序列中的出现与复现方式,再在无标注序列上预训练多尺度模式码本,把 LAID 序列抽象为离散行为模式供下游预测。

  14. arXiv · cs.AI35

    ETAPS:面向大语言模型极端稀疏度的高效渐进剪枝方法

    研究者提出 ETAPS,通过分阶段收紧全局稀疏约束、并以固定小预算训练稀疏增量,在 125M 到 13B 参数的六个模型上,50% 至 90% 稀疏度下困惑度均低于 ELSA,最高降低 42%。在 90% 稀疏度下剪枝 LLaMA2-7B 仅需单张 H200,而 ELSA 需四张,持久状态小 5.0 倍、图形处理器(GPU,Graphics Processing Unit) 小时少 49%。

  15. arXiv · cs.AI27

    Sensorium:面向具身手术 人工智能(AI,Artificial Intelligence) 的开源多模态数据采集与整理库

    Sensorium 是一个开源 Python 库,可基于机器人操作系统(ROS,Robot Operating System)及 ROS2 中间件,从可配置的机器人与传感器数据流中录制、处理、标注和整理多模态手术数据。研究团队在 1516 次体模、离体和活体猪实验中评估了该库,并给出了初步可用性反馈。

  16. arXiv · cs.AI30

    用机器学习通过学习者交互轨迹测量技术增强学习中的自我效能信念

    研究团队开发了一套基于数据挖掘与机器学习的方法,通过学习者在技术增强学习(TEL,Technology-Enhanced Learning)系统中的交互轨迹识别低自我效能信念。团队在两所大学开展实验,收集交互轨迹与自我效能自评数据,并构建包含多个分类模型的机器学习流程。结果显示,由于自我效能信念在学习过程中高度动态变化,密切监测它有助于提升预测性能。