视频基础模型如何编码直觉物理?研究对比 V-JEPA、VideoMAE 与 LTX-Video
研究用冻结特征探针在 IntPhys2 和 Minimal Video Pairs(MVP)上对比 V-JEPA、VideoMAE 与 LTX-Video 三种预训练范式的直觉物理编码能力。
研究用冻结特征探针在 IntPhys2 和 Minimal Video Pairs(MVP)上对比 V-JEPA、VideoMAE 与 LTX-Video 三种预训练范式的直觉物理编码能力。
Place-it-R1 是一个端到端视频物体插入框架,让多模态大语言模型(MLLM,Multimodal Large Language Model)分析目标环境、推断物体与场景的交互,并判断插入位置在物理上是否合理。
研究者提出 TetraState 回归测试协议,针对成对的可实现/不可实现视频测试,在四种模型原生配置下运行并给出四类结果,同时把测试框架本身纳入版本管理。
研究提出 Geo-FSRL(Geometry-Optimized Few-Step Reinforcement Learning),通过最小化条件 KL 散度对应的单一几何因子,在保持系数的各向同性高斯转移族中推导出唯一闭式最优策略。该方法在 4 步设置下训练图像与视频生成模型,最终奖励分数高于 Flow-GRPO 和 Flow-CPS,推理时仍保留确定性求解器。代码已公开。
Google DeepMind 发布世界模型 Genie 4,可实时生成画面与原生音频,并支持用自然语言在模拟过程中修改天气、镜头和人物。该模型引入实时交互对话,角色能对用户输入即时回应;Gemini 3.8 Flash 在循环中充当引导智能体,把目标拆成步骤并检查每帧进度。
推荐理由:官方同时给出四项能力变化和已知局限,读者可据此判断实时世界模型目前能做什么、还差在哪。