arXiv · cs.AI · Xin Cheng, Yuyue Wang, Xihua Wang, Yihan Wu, Kaisi Guan, Yijing Chen, Peng Zhang, Xiaojiang Liu, Meng Cao, Ruihua Song · 7 小时前模型评分39
ViSSFlow：用联合学习统一视频条件的声音与语音生成
ViSSFlow: Unifying Video-Conditioned Sound and Speech Generation via Joint Learning
导读
ViSSFlow 提出一个基于流匹配的统一框架，把视频转声音（V2S）与视觉文本转语音（VisualTTS）两类任务合并到单个模型中联合训练。它用解耦条件聚合机制，让交叉注意力处理语义条件、自注意力捕捉时间密集的视觉线索，并证明联合优化不会造成任务干扰。在 V2S、VisualTTS 及联合生成基准上，ViSSFlow 均优于任务专用基线。
分类置信度
中 · 待人工复核
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
事件类型：研究发布
证据摘录
- “In this paper, we propose ViSSFlow, a unified flow-matching framework for both V2S and VisualTTS.”
来源：arXiv · cs.AI · arxiv.org