帕累托自适应压缩(PACE,Pareto-Adaptive Compression for Efficient Native MLLMs):面向原生多模态大模型的高效视觉 token 压缩框架
研究者提出 帕累托自适应压缩(PACE,Pareto-Adaptive Compression for Efficient Native MLLMs)(Pareto-Adaptive Compression for Efficient Native 多模态大语言模型(MLLMs。
研究者提出 帕累托自适应压缩(PACE,Pareto-Adaptive Compression for Efficient Native MLLMs)(Pareto-Adaptive Compression for Efficient Native 多模态大语言模型(MLLMs。
GUI-Lens 提出一种由粗到细的 GUI 定位框架,让通用视觉语言模型(VLM,Vision-Language Model)通过主动观察逐步确定点击目标,在 ScreenSpot-Pro 上的准确率最高达到直接定位的 9.3 倍。
研究用冻结特征探针在 IntPhys2 和 Minimal Video Pairs(MVP)上对比 V-JEPA、VideoMAE 与 LTX-Video 三种预训练范式的直觉物理编码能力。
一篇 arXiv 论文分析了图像行人重识别(I2I ReID)与文本行人重识别(T2I ReID)共用视觉编码器时的优化冲突:前者要求压缩同一身份的图像间距,后者要求保留实例级文本对应的差异,单一无约束编码器无法同时满足两者。作者用两阶段流程验证:先训练共享视觉编码器获得身份不变性再冻结,仅对齐文本编码器,发现 I2I 预训练能提升后续 T2I 表现,预训练中加入文本监督还能进一步提升。
研究团队提出 DRBench 基准(14,573 道题、2,943 张图像,覆盖五类任务与三层递进推理)和 DRScaffold 监督微调框架,将监督目标拆成四个有因果顺序的阶段,无需改动模型架构即可让推理步骤与视觉实体对齐。
研究团队提出3D-ARD+,一种3D自回归扩散模型,把多模态token序列的自回归生成与下一个物体的3D潜变量扩散生成统一起来,可按文本指令生成并摆放物体。团队构建了23万组带文本指令的室内场景数据集,并评测了7B版本,模型能遵循文本描述的复杂空间布局与语义。
研究团队推出手术视频问答数据集与基准 SUREON,用对抗猜测模型过滤掉不看画面也能答对的题目,含 76K 训练问答对、覆盖 168 种手术,另有 340 道经外科专家核验的测试题。
Place-it-R1 是一个端到端视频物体插入框架,让多模态大语言模型(MLLM,Multimodal Large Language Model)分析目标环境、推断物体与场景的交互,并判断插入位置在物理上是否合理。
研究发现,大型视觉语言模型(LVLM,Large Vision-Language Model)经强化微调(RFT,Reinforcement Fine-Tuning)生成的多模态思维链(MCoT,Multimodal Chain-of-Thought)中,视觉信息即使答案正确也常不准确,干扰视觉内容后预测几乎不变。
MLLMEraser 提出一种无需训练的多模态大语言模型(MLLM,Multimodal Large Language Model)遗忘框架,通过激活引导在测试时动态擦除知识,不更新模型参数。
研究者提出 VisualSphinx,一个大规模合成视觉逻辑推理训练数据集,通过“规则到图像”的合成流程从种子题目提取并扩展谜题规则、生成可执行的渲染程序来组装谜题。
研究者提出 ReState,一个把多模态推理从按预设阶段分别训练改为在共享状态空间中动态转移的统一迭代推理框架,包含统一推理状态建模(URSM)与闭环推理状态学习(CRSL)两部分。
研究团队用多个物体旋转数据集微调 Google DeepMind 的 Gemma-4 模型,发现微调后的混合专家(MoE,Mixture of Experts)版本在预测旋转轴和角度上明显优于通用版本,并显著改善无显式坐标系下的 2D 角度估计。实验还显示,可识别物体并未提升角度检测精度,具有明显线性特征的物体表现更好。
研究提出一种框架,利用基于470万次人类“异类判断”(Odd-One-Out,O1O)实验构建的66维行为衍生语义嵌入空间,为每个三元组推断最显著的决策维度并生成维度依据的语言解释。
Latent-Lens 用约 160 万参数(占两模型总规模 0.2%)的轻量编解码器,在冻结的视觉语言模型(VLM,Vision-Language Model)与冻结的小语言模型(SLM,Small Language Model)之间直接传递隐状态,替代有损的文本通信。
针对视觉语言模型在文本密集推理中常出现“答案正确但中间步骤看错图”的 Correct-but-Visually-Misgrounded Reasoning(CVMR)现象。
研究者提出免训练的难度感知思维链(DA-思维链(CoT,Chain of Thought),Difficulty-Aware Chain-of-Thought)框架。
GenDSR 将视频生成模型的中间表征迁移到视觉语言模型(VLM,Vision-Language Model)中,用于动态空间推理。它构建保留整体生成上下文的原始分支和强调时间变化的差分分支,再用按任务条件的逐 token 门控融合两路信号并注入原生视觉表征。在 DSR-Bench 上,GenDSR 取得 67.2%,超过此前最佳结果。
ERASE 通过在原位擦除被注入区域、保留周边媒体内容来构建参考视图,让读取受攻击媒体的学生模型从冻结基模型读取擦除视图的输出中学习。在图像、音频、视频和两种模型规模上,ERASE 在评测基准上观察到接近零的攻击成功率,同时任务效用接近无防御的干净输入水平;3B 音频上受攻击输入准确率达 60.1%,而 ARGUS 为 33.1%。
Coarse3D 能从任意无位姿图像生成方向可控、结构忠实的稀疏体素几何,并可直接替换现有图像到 3D 流程的粗阶段。它引入首帧锚定规范空间、双塔 DiT(Diffusion Transformer,扩散 Transformer)耦合前馈重建,以及用像素到体素对应约束交叉注意力的空间先验引导注意力。实验显示其稀疏结构质量与最终 3D 生成效果均达当前最优。
WebOverlay 提出一种纯视觉网页浮层检测器,通过从前沿视觉语言教师模型蒸馏训练,无需解析 DOM 树即可识别 cookie 同意横幅、订阅提示等遮挡内容。它采用动态分块策略把极端宽高比的整页渲染切成保持宽高比的重叠图块,并配合宽高比感知的边界判定机制消除拼接伪影。该方法吞吐量比大型专有多模态模型高数个数量级,部署成本大幅降低,精度与召回率仍具竞争力。
研究团队用 7B 参数世界模型以野生动物无人机视频为种子生成画面,将训练集扩充一倍以上,在真实数据中加入这些帧后 mAP@50--95 提升 4.3%,替换真实数据时提升 10.3%,城市基准上最高提升 33.5%。
研究提出 LIT 框架,由导演智能体、模拟用户和元工程师组成进化闭环,让元工程师主动学习外部知识以发现并解决交互与制作问题。在 Test 与 OOD Test 划分上,LIT 的制作与交互得分分别比初始流程提升 19.1% 和 32.0%。消融实验显示制作与交互提升存在相关性,协同进化机制进一步促进执导技能与交互模式探索。
研究者提出 ERIM 框架,让多模态大语言模型(MLLM,Multimodal Large Language Model)在上下文学习中显式归纳演示样本背后的潜在规则,而非直接做输入输出映射。该框架构建以规则为中心的数据集、引入规则归纳的显式监督,并用混合冷启动监督微调加强化学习的两阶段训练完成微调。实验显示多种多模态上下文学习设置下性能一致提升,正确归纳规则可直接带来更强更稳定的表现。
研究团队提出 MarketImage 诊断框架,用 266 组六图对比集和保留平局的价格-人类排序协议,检验交易价格何时反映视觉偏好。结果显示仅 24.2% 图像对有非平局价格方向,其中 34.7% 与人类多数一致,HPSv2 在该区域以 66.4% 可恢复准确率领先。作者认为交易价格只能作为不确定的代理信号,而非真实偏好标准。
一项 arXiv 研究在简化的周界防御模拟中对比了集中指挥官、基于拍卖的共识团队和独立智能体三种大语言模型(LLM,Large Language Model)团队架构,共识团队的入侵率最低,为 15%,集中指挥官为 32%,独立智能体为 29%。
Nedimo 是一个多语言助眠故事生成与旁白流水线,将确定性规划与大语言模型生成分离,并用四阶段注意力递减塑造脚本。它通过结构校验、有界重试和发布门禁控制响度与真峰值,产品数据只把停止、重播、提前放弃等视为模糊行为代理而非临床结果。研究未声称临床疗效,仅将其定位为放松与注意力支持工具。
研究提出一种无需阈值的连续“不一致分数”,用双分量高斯混合把文本与音频在效价-唤醒-支配空间中的距离量化,并用人类判断验证。在 eNTERFACE'05、MELD 和 CMU-MOSEI 三个语料上评估三款音频能力模型后发现,只要音频存在,不一致就会提高出错几率,而同样特征训练的监督分类器表现相反。代码、数据表和提示词已公开。
Google DeepMind 发布世界模型 Genie 4,可实时生成画面与原生音频,并支持用自然语言在模拟过程中修改天气、镜头和人物。该模型引入实时交互对话,角色能对用户输入即时回应;Gemini 3.8 Flash 在循环中充当引导智能体,把目标拆成步骤并检查每帧进度。
推荐理由:官方同时给出四项能力变化和已知局限,读者可据此判断实时世界模型目前能做什么、还差在哪。
Google DeepMind 发布 Gemini 4 Argon,一款面向机器人的通用物理推理模型,在测试 3D 环境物理与空间问题理解的 Embodied Reasoning(ERQA)基准上以纯推理取得 87%,超过其他前沿模型。
推荐理由:官方给出 ERQA 87% 与真机成功率 56% 到 75% 的对照,可判断物理推理模型在机器人全流程中的位置。
Google DeepMind 发布 Gemini 4 Argon,面向开发者、企业和科研人员开放,应用程序编程接口(API,Application Programming Interface) 定价为每百万输入 token 2 美元、每百万输出 token 10 美元。
推荐理由:官方披露了 Argon 在代码重构、科研与安全测试中的具体数字,可据此判断前沿模型在长周期任务上的实际边界。