arXiv · cs.AI · Ziyun Zeng, Yiqi Lin, Guoqiang Liang, Mike Zheng Shou · 11 小时前模型评分41
Sparkle:解耦引导实现生动的指令驱动视频背景替换
Sparkle: Realizing Lively Instruction-Guided Video Background Replacement via Decoupled Guidance
导读
研究团队提出 Sparkle 数据集,包含约 140K 对视频,覆盖五类常见背景更换主题,并配套发布目前规模最大的背景替换评测基准 Sparkle-Bench。该数据集通过解耦生成前景与背景引导并严格质量过滤,解决了现有数据中背景静态、不自然的问题,在其上训练的模型在 OpenVE-Bench 和 Sparkle-Bench 上均显著优于现有基线。数据集、基准、模型及完整数据生成流程已全部开源。
分类置信度
中 · 待人工复核
- 存在未解决的相邻类别:foundation-models,需要人工复核。
- 只有单一媒体来源,需要人工复核。
来源级别:媒体与个人
应用领域:内容与娱乐
事件类型:研究发布
证据摘录
- “Building on this pipeline, we introduce Sparkle, a dataset of ~140K video pairs spanning five common background-change themes, alongside Sparkle-Bench, the largest evaluation benchmark tailored for background replacement to date.”
- “Our proposed dataset, benchmark, model, as well as the full data generation pipeline, are fully open-sourced at this https URL .”
来源:arXiv · cs.AI · arxiv.org