跳到正文
arXiv · cs.AI · Dominik Schnaus, Thomas Dag\`es, Daniel Cremers, Xi Wang, Phillip Isola · 6 小时前模型评分46

GeoWarP:无需配对数据实现跨模态对齐

Shared Geometry As A Rosetta Stone: Cross-Modal Alignment Without Paired Data

导读

研究提出 GeoWarP 方法,用带粗略几何初始化的 Wasserstein Procrustes 估计单一正交映射,在没有任何配对样本的情况下对齐两组独立训练的嵌入向量。在极少配对样本时,该方法明显优于现有方法,并能支持无配对数据的文本到图像生成。

分类置信度

中 · 待人工复核

  • 只有单一媒体来源,需要人工复核。

来源级别:媒体与个人

事件类型:研究发布

证据摘录

  • “Our simple Wasserstein Procrustes method with a coarse geometric initialization (GeoWarP) aligns two disjoint embedding sets by estimating a single orthogonal map without seeing any pairs.”

来源:arXiv · cs.AI · arxiv.org