视频基础模型如何编码直觉物理?研究对比 V-JEPA、VideoMAE 与 LTX-Video
研究用冻结特征探针在 IntPhys2 和 Minimal Video Pairs(MVP)上对比 V-JEPA、VideoMAE 与 LTX-Video 三种预训练范式的直觉物理编码能力。
研究用冻结特征探针在 IntPhys2 和 Minimal Video Pairs(MVP)上对比 V-JEPA、VideoMAE 与 LTX-Video 三种预训练范式的直觉物理编码能力。
研究团队提出 Sparkle 数据集,包含约 140K 对视频,覆盖五类常见背景更换主题,并配套发布目前规模最大的背景替换评测基准 Sparkle-Bench。该数据集通过解耦生成前景与背景引导并严格质量过滤,解决了现有数据中背景静态、不自然的问题,在其上训练的模型在 OpenVE-Bench 和 Sparkle-Bench 上均显著优于现有基线。数据集、基准、模型及完整数据生成流程已全部开源。
Place-it-R1 是一个端到端视频物体插入框架,让多模态大语言模型(MLLM,Multimodal Large Language Model)分析目标环境、推断物体与场景的交互,并判断插入位置在物理上是否合理。
研究提出一套智能体工具方法,用于自动完成场景预览、视频摘要和电影预告片三类视频编辑任务,三者在编辑目标、复杂度和创意程度上各不相同。团队评估了输出结果,并讨论了自动化与自主性(agency)的含义。
研究者提出 TetraState 回归测试协议,针对成对的可实现/不可实现视频测试,在四种模型原生配置下运行并给出四类结果,同时把测试框架本身纳入版本管理。
研究提出 Geo-FSRL(Geometry-Optimized Few-Step Reinforcement Learning),通过最小化条件 KL 散度对应的单一几何因子,在保持系数的各向同性高斯转移族中推导出唯一闭式最优策略。该方法在 4 步设置下训练图像与视频生成模型,最终奖励分数高于 Flow-GRPO 和 Flow-CPS,推理时仍保留确定性求解器。代码已公开。
Google DeepMind 发布世界模型 Genie 4,可实时生成画面与原生音频,并支持用自然语言在模拟过程中修改天气、镜头和人物。该模型引入实时交互对话,角色能对用户输入即时回应;Gemini 3.8 Flash 在循环中充当引导智能体,把目标拆成步骤并检查每帧进度。
推荐理由:官方同时给出四项能力变化和已知局限,读者可据此判断实时世界模型目前能做什么、还差在哪。