帕累托自适应压缩(PACE,Pareto-Adaptive Compression for Efficient Native MLLMs):面向原生多模态大模型的帕累托自适应压缩框架
研究者提出 帕累托自适应压缩(PACE,Pareto-Adaptive Compression for Efficient Native MLLMs)。
研究者提出 帕累托自适应压缩(PACE,Pareto-Adaptive Compression for Efficient Native MLLMs)。
MuSID-KD 通过分层候选分布对齐(HCDA,Hierarchical Candidate Distribution Alignment)和排序影响引导的分层蒸馏(RIGD,Ranking Impact Guided Levelwise Distillation),改进语义 ID(SID)生成式推荐中多 token 解码的知识蒸馏效果。
SIRF 将平台复杂策略内化进模型权重,在仅输出判定结果的低延迟部署下实现高精度风控。同源对比中,SIRF-8B-受监督微调(SFT,Supervised Fine-Tuning) 的 Black Recall@P95 达 71.3%,比基线高 15.1 个百分点,仅用约 70M CPT token 且不损害通用能力。
Latent-Lens 用约 160 万参数(占两模型总规模 0.2%)的轻量编解码器,在冻结的视觉语言模型(VLM,Vision-Language Model)与冻结的小语言模型(SLM,Small Language Model)之间直接传递隐状态,替代有损的文本通信。
研究提出 ORION,一个分层编排器,用两个大语言模型(LLM,Large Language Model)智能体把服务意图转成结构化请求并生成抽象放置方案,再由协作式多智能体强化学习协调器选择跨域划分。其核心是结果驱动的情景记忆,把每次尝试的网络状况、方案与可行性结果回传给规划器,在固定下游机制的控制实验中使接纳率提升 4.6–11.5 个百分点。
研究者提出无需训练的 Agentic Soft-Token Compression(ASTC),利用模型原生的混合 Gated Delta Network(GDN)-attention 循环动态判断已吸收的信息,将其作为智能体软 token 前传,同时以硬 token 保留精确值。
研究发现,微调后的混合专家(混合专家(MoE,Mixture of Experts),Mixture-of-Experts)大语言模型会记住训练数据及其内部处理路径,形成独特的路由指纹,且仅凭路由和输出 logits 即可在无训练数据情况下恢复这些专家路径。
研究者提出闭环意图一致性层(CLIC,Closed-Loop Intent Consistency),用于同时防御 Open RAN 中 大语言模型(LLM,Large Language Model) 控制回路的运行时提示注入和残留虚拟提示注入(VPI)攻击。
研究者提出 ACCT(Asymmetric Cross-大语言模型(LLM,Large Language Model) Context Transfer,非对称跨大语言模型上下文迁移),把源模型的键值缓存(KV cache,Key-Value Cache)转换为目标模型可直接使用的稀疏 KV 状态,实现同系列不同规模模型间的上下文计算复用。
研究者提出 ETAPS,通过分阶段收紧全局稀疏约束、并以固定小预算训练稀疏增量,在 125M 到 13B 参数的六个模型上,50% 至 90% 稀疏度下困惑度均低于 ELSA,最高降低 42%。在 90% 稀疏度下剪枝 LLaMA2-7B 仅需单张 H200,而 ELSA 需四张,持久状态小 5.0 倍、图形处理器(GPU,Graphics Processing Unit) 小时少 49%。
一项研究提出用图谱工具做轻量客户端选择,让去中心化联邦学习(DFL,Decentralized Federated Learning)中的每个客户端只向结构上最相关的邻居发送模型更新,而非全邻域广播。在数据异构性强、结构丰富的大图上,该方法准确率最高提升约 3 个百分点,同时传输消息总数比朴素广播减少 50%。
研究者提出一种神经符号的规范引导解码框架,把大语言模型(LLM,Large Language Model)生成与符号推理结合,在每一步过滤掉无法满足形式化规范的取值。该框架与模型无关、无需重新训练,前向变体在配置与约束求解基准上稳定输出符合规范的答案,并比拒绝采样减少重复推理;回溯变体进一步减少模型被迫选择自判不合适取值的情况。
研究提出 HiGPTQ、HiAutoRound 和 HiFlatQuant 三种校准方法,用于 HiFloat4(HiF4)这一采用三级缩放层级的分块浮点(BFP,Block Floating-Point)4-bit 量化格式。实验显示三种方法均比直接转换为 HiF4 提升推理精度,将 HiF4 与 BF16 的差距缩小至 1% 以内,并在多种模型和下游任务上优于 NVFP4 格式。
一项 arXiv 研究在简化的周界防御模拟中对比了集中指挥官、基于拍卖的共识团队和独立智能体三种大语言模型(LLM,Large Language Model)团队架构,共识团队的入侵率最低,为 15%,集中指挥官为 32%,独立智能体为 29%。
论文提出智能体世界建模(AWM,Agentic World Modeling),把下一步观测预测改写为多轮证据获取任务:智能体模拟器通过安全的只读接口查询真实环境,再基于返回证据推理并构造观测结果,从而不修改共享状态。
微软研究院发布零知识虚拟机 Magnetar,可直接证明用 Rust、Go 或 C 编写的程序,在 15 个基准程序上平均比现有最快的同类零知识虚拟机快 10 到 39 倍。
推荐理由:微软研究院把零知识证明的速度、通用性和后量子安全放在同一套系统里,读者可据此判断可验证计算离日常工程还有多远。
Google DeepMind 发布 Gemini 4 Argon,一款面向机器人的通用物理推理模型,在测试 3D 环境物理与空间问题理解的 Embodied Reasoning(ERQA)基准上以纯推理取得 87%,超过其他前沿模型。
推荐理由:官方给出 ERQA 87% 与真机成功率 56% 到 75% 的对照,可判断物理推理模型在机器人全流程中的位置。
Google DeepMind 发布 Gemini 4 Argon,面向开发者、企业和科研人员开放,应用程序编程接口(API,Application Programming Interface) 定价为每百万输入 token 2 美元、每百万输出 token 10 美元。
推荐理由:官方披露了 Argon 在代码重构、科研与安全测试中的具体数字,可据此判断前沿模型在长周期任务上的实际边界。
伯克利 人工智能(AI,Artificial Intelligence) 研究团队综述了并行推理领域进展,重点分析自适应并行推理——让模型自行决定何时分解任务、开多少并行线程以及如何协调。现有方法多由外部固定并行结构,而不同问题需要不同并行程度,自适应控制被视为高效推理扩展的下一步。
加州大学伯克利分校 人工智能(AI,Artificial Intelligence) 研究团队提出 GRASP,一种面向学习型世界模型(预测未来状态的模型)的梯度规划器,通过把轨迹提升到虚拟状态实现跨时间并行优化、在状态迭代中加入随机性做探索,并重塑梯度让动作获得清晰信号。该方法针对长时程规划中梯度爆炸或消失、非贪心路径陷入局部最优等问题,使基于梯度的规划更稳健。