专家存在结构化冗余:面向混合专家大模型的保结构专家剪枝方法
研究提出保结构专家剪枝框架,包含投影能量专家剪枝(PEEP,Projection Energy Expert Pruning)和分布覆盖专家剪枝(DCEP,Distributional Coverage Expert Pruning)两种方法,利用路由器权重作为先验,在保留专家间全局结构关系的同时兼顾单个专家重要性。
研究提出保结构专家剪枝框架,包含投影能量专家剪枝(PEEP,Projection Energy Expert Pruning)和分布覆盖专家剪枝(DCEP,Distributional Coverage Expert Pruning)两种方法,利用路由器权重作为先验,在保留专家间全局结构关系的同时兼顾单个专家重要性。
研究团队提出多任务后训练框架 RTL-Interact,让单个模型生成 RTL、构造任务对应的 EDA 检查并依据工具反馈修改实现。在 CVDP 上,RTL-Interact-32B 取得 48.7% 加权 Pass@1 和 68.9% Pass@5,超过其教师模型 DeepSeek-V3.2,8B 版本加权 Pass@1 为 44.9%。
研究者提出测试时去毒框架 TARGRS,通过在潜在表征空间学习毒性过渡的奖励引导,在 10 个大语言模型(LLM,Large Language Model)上把 RealToxicityPrompts 的毒性最高降低 69.38%。
针对遗传编程学到的调度规则在任务特征变化时性能明显下降、在新任务上微调又会丢失旧知识的问题,一项研究提出面向动态柔性作业车间调度的代理辅助遗传编程终身学习方法,可依次处理作业到达或批量到达的异构任务。该方法包含自适应两阶段训练、基于任务相似度的加权机制和带距离约束的改进代理模型三部分,实验显示其能缓解灾难性遗忘并保持较强适应性,优于多个对比方法。
研究者提出反事实成对增强(CPA,Counterfactual Pairwise Augmentation),为每个逐点样本合成并审核一条同查询、标签相反的反事实回答,把接受的样本对转为成对任务,与逐点数据联合微调后仍以逐点模式部署。
研究提出成对协调策略(PCP,Pairwise Coordination Policy),用于协调多个共享同一名有限注意力人类的 人工智能(AI,Artificial Intelligence) 智能体在搜索、询问或继续任务之间的决策。
研究者提出 帕累托自适应压缩(PACE,Pareto-Adaptive Compression for Efficient Native MLLMs)(Proxy Alignment and Curvature Expansion),一种优化前诊断方法,利用重复人工评分预测固定代理目标带来的人类感知收益曲线,将局部收益近似为 A√d+Bd。
研究提出 HiGPTQ、HiAutoRound 和 HiFlatQuant 三种校准方法,用于 HiFloat4(HiF4)这一采用三级缩放层级的分块浮点(BFP,Block Floating-Point)4-bit 量化格式。实验显示三种方法均比直接转换为 HiF4 提升推理精度,将 HiF4 与 BF16 的差距缩小至 1% 以内,并在多种模型和下游任务上优于 NVFP4 格式。
研究者提出 平滑排序随机邻居嵌入(SR-tSNE,Smooth Rank t-Distributed Stochastic Neighbor Embedding)。
研究者提出免标签框架分位数对齐(QUAL,Quantile Alignment),利用模型池作为概率参考对齐各成员预测,再经Huber聚合与重排得到稳健组合预测,无需训练或改动模型。
CIRCE 通过廉价 大语言模型(LLM,Large Language Model) 构建约束中间表示并编译成约束图,在模型尝试解题前预测其回答是否正确。
研究针对计算几何中的最小红蓝分离集问题(MRBSSP,Minimum Red-Blue Separating Set Problem)提出紧凑集合覆盖整数线性规划(ILP。
一项 arXiv 研究在简化的周界防御模拟中对比了集中指挥官、基于拍卖的共识团队和独立智能体三种大语言模型(LLM,Large Language Model)团队架构,共识团队的入侵率最低,为 15%,集中指挥官为 32%,独立智能体为 29%。
论文提出 Noura,把公开临床指南和个人健康档案转成可执行规格,在规划中约束食物选择、份量优化和多日计划校验,并用执行结果与修订记录监督紧凑模型。
一项 arXiv 研究测试了大语言模型(LLM,Large Language Model)对赌博和股票交易结果情绪感受的预判,以及是否将评分纳入选择。单独评分时模型对结果幅度的敏感度递减、类似人类价值函数,但对收益的评分强于同等损失,研究者称之为“硅基收益放大”。同时呈现结果时评分趋于线性,选择中的得失不对称基本消失,模型自身评分并不比金钱效用更好地解释其选择。
Nedimo 是一个多语言助眠故事生成与旁白流水线,将确定性规划与大语言模型生成分离,并用四阶段注意力递减塑造脚本。它通过结构校验、有界重试和发布门禁控制响度与真峰值,产品数据只把停止、重播、提前放弃等视为模糊行为代理而非临床结果。研究未声称临床疗效,仅将其定位为放松与注意力支持工具。
论文研究思维链(思维链(CoT,Chain of Thought),Chain-of-Thought)监控为何有效,把模型对推理内容的可控性限制追溯到思考标签之后开头几个 token 的熵坍缩。
研究提出一种无需阈值的连续“不一致分数”,用双分量高斯混合把文本与音频在效价-唤醒-支配空间中的距离量化,并用人类判断验证。在 eNTERFACE'05、MELD 和 CMU-MOSEI 三个语料上评估三款音频能力模型后发现,只要音频存在,不一致就会提高出错几率,而同样特征训练的监督分类器表现相反。代码、数据表和提示词已公开。
研究把 人工智能(AI,Artificial Intelligence) 模型市场中的计算套利(从多个模型买入推理再转售获利)形式化为分配问题,并证明其一般情形是 NP 难。
论文提出智能体世界建模(AWM,Agentic World Modeling),把下一步观测预测改写为多轮证据获取任务:智能体模拟器通过安全的只读接口查询真实环境,再基于返回证据推理并构造观测结果,从而不修改共享状态。
Google DeepMind 发布 Gemini 4 Carbon,称其在网络安全与长周期任务上达到当前最强水平,在 Artificial Analysis Intelligence Index v5.0 上以 59 分排名第一。
推荐理由:官方给出网络安全与长周期任务的多项基准成绩,并说明分阶段开放节奏,可据此判断前沿模型在攻防场景的落地边界。
Google DeepMind 发布世界模型 Genie 4,可实时生成画面与原生音频,并支持用自然语言在模拟过程中修改天气、镜头和人物。该模型引入实时交互对话,角色能对用户输入即时回应;Gemini 3.8 Flash 在循环中充当引导智能体,把目标拆成步骤并检查每帧进度。
推荐理由:官方同时给出四项能力变化和已知局限,读者可据此判断实时世界模型目前能做什么、还差在哪。
微软研究院的 Xinzhi Zhang 与合著者 Zhao Song 证明了 1995 年提出的 Kannan-Lovász-Simonovits(KLS)猜想,证明对数凹分布的最佳平面切割与任意形状最佳切割只差一个与维度无关的固定常数。
推荐理由:这项证明把困扰高维几何三十余年的猜想变为无条件结论,也展示了研究者如何筛选并引导 人工智能(AI,Artificial Intelligence) 的搜索方向。
微软研究院发布零知识虚拟机 Magnetar,可直接证明用 Rust、Go 或 C 编写的程序,在 15 个基准程序上平均比现有最快的同类零知识虚拟机快 10 到 39 倍。
推荐理由:微软研究院把零知识证明的速度、通用性和后量子安全放在同一套系统里,读者可据此判断可验证计算离日常工程还有多远。
Google DeepMind 公布 Gemini 4 Argon 的安全与安保报告,说明在网络安全和生物两个高风险领域部署了新一代前沿防护措施。报告称 Argon 在 12 个端到端模拟网络攻击场景中全部完成,上一代为 5 个;在对抗性测试集上违规请求减少近一半,外部生物越狱红队测试仅解锁不到 1% 的生物子任务。
推荐理由:原文披露了 Gemini 4 Argon 在网络安全与生物风险上的防护分层,以及智能体越界行为的实测数据,可供关注前沿模型安全的人参考。
Google DeepMind 发布 Gemini 4 Argon,一款面向机器人的通用物理推理模型,在测试 3D 环境物理与空间问题理解的 Embodied Reasoning(ERQA)基准上以纯推理取得 87%,超过其他前沿模型。
推荐理由:官方给出 ERQA 87% 与真机成功率 56% 到 75% 的对照,可判断物理推理模型在机器人全流程中的位置。
Google DeepMind 发布 Gemini 4 Argon,面向开发者、企业和科研人员开放,应用程序编程接口(API,Application Programming Interface) 定价为每百万输入 token 2 美元、每百万输出 token 10 美元。
推荐理由:官方披露了 Argon 在代码重构、科研与安全测试中的具体数字,可据此判断前沿模型在长周期任务上的实际边界。
Berkeley 人工智能(AI,Artificial Intelligence) Research 提出 ABBEL 框架,把 大语言模型(LLM,Large Language Model) 的交互摘要写成自然语言“信念状态”并对其内容单独监督评分,替代传统递归摘要。
伯克利 人工智能(AI,Artificial Intelligence) 研究团队综述了并行推理领域进展,重点分析自适应并行推理——让模型自行决定何时分解任务、开多少并行线程以及如何协调。现有方法多由外部固定并行结构,而不同问题需要不同并行程度,自适应控制被视为高效推理扩展的下一步。
加州大学伯克利分校 人工智能(AI,Artificial Intelligence) 研究团队提出 GRASP,一种面向学习型世界模型(预测未来状态的模型)的梯度规划器,通过把轨迹提升到虚拟状态实现跨时间并行优化、在状态迭代中加入随机性做探索,并重塑梯度让动作获得清晰信号。该方法针对长时程规划中梯度爆炸或消失、非贪心路径陷入局部最优等问题,使基于梯度的规划更稳健。
伯克利 人工智能(AI,Artificial Intelligence) 研究团队提出一种直接以信息含量评估和优化成像系统的框架,并在 NeurIPS 2025 论文中验证其信息指标能预测彩色摄影、射电天文、无透镜成像和显微成像四个领域的系统表现。该方法仅用带噪测量和噪声模型估计互信息,优化后的设计可媲美端到端方法,且内存和算力需求更低、无需任务专用解码器。