ViSSFlow：统一视频条件的声音与语音生成框架

Xin Cheng等作者提出ViSSFlow，一个基于流匹配的统一框架，把视频转声音（V2S）与视觉文本转语音（VisualTTS）两类任务合并到单个模型中联合训练。 该框架采用解耦条件聚合机制：交叉注意力处理语义条件，自注意力捕捉时间密集的视觉线索。作者称，联合优化不会造成任务之间的干扰。 作者报告称，在V2S、VisualTTS及联合生成基准上，ViSSFlow 均优于任务专用基线。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。