Sparkle:解耦引导实现生动的指令驱动视频背景替换
研究团队提出 Sparkle 数据集,包含约 140K 对视频,覆盖五类常见背景更换主题,并配套发布目前规模最大的背景替换评测基准 Sparkle-Bench。该数据集通过解耦生成前景与背景引导并严格质量过滤,解决了现有数据中背景静态、不自然的问题,在其上训练的模型在 OpenVE-Bench 和 Sparkle-Bench 上均显著优于现有基线。数据集、基准、模型及完整数据生成流程已全部开源。
研究团队提出 Sparkle 数据集,包含约 140K 对视频,覆盖五类常见背景更换主题,并配套发布目前规模最大的背景替换评测基准 Sparkle-Bench。该数据集通过解耦生成前景与背景引导并严格质量过滤,解决了现有数据中背景静态、不自然的问题,在其上训练的模型在 OpenVE-Bench 和 Sparkle-Bench 上均显著优于现有基线。数据集、基准、模型及完整数据生成流程已全部开源。
研究提出 WeFair,按人类反馈反映个性化意图的直接程度分级,用示范、偏好、验证三阶段训练 2B 查询改写模型。离线实验中 WeFair-2B 在整体准确率和意图保持上优于强基线,微信短视频搜索线上 A/B 测试显示有效视频观看率相对提升 2.593%、查询改写率相对下降 2.350%。该模型已部署于日均处理超 1 亿次查询的微信短视频搜索系统。
研究提出一套智能体工具方法,用于自动完成场景预览、视频摘要和电影预告片三类视频编辑任务,三者在编辑目标、复杂度和创意程度上各不相同。团队评估了输出结果,并讨论了自动化与自主性(agency)的含义。
TAPE(Transformations of Audio Parameter Embeddings)仅凭处理后的参考音频即可估计其信号处理链,并把参数迁移到另一段未处理录音上。
研究提出 LIT 框架,由导演智能体、模拟用户和元工程师组成进化闭环,让元工程师主动学习外部知识以发现并解决交互与制作问题。在 Test 与 OOD Test 划分上,LIT 的制作与交互得分分别比初始流程提升 19.1% 和 32.0%。消融实验显示制作与交互提升存在相关性,协同进化机制进一步促进执导技能与交互模式探索。
《使命召唤:现代战争4》首发当日上线 GeForce NOW,Ultimate 会员可在云端以 GeForce RTX 5080 级性能体验支持光线追踪的战役。