arXiv · cs.AI · Shiwon Kim, JaeSeong Hong, Yu Rang Park · 8 小时前模型评分38
ReLATE：用可学习锚点实现事后多模态对齐
ReLATE: Learning Relative Representations for Post-Hoc Multimodal Alignment
导读
研究者提出 ReLATE，通过可学习锚点构建相对表示，在冻结视觉与语言编码器的前提下完成事后多模态对齐，仅优化锚点而不更新编码器。在 13 个通用领域基准的四类视觉语言任务上，该方法在相同配对数据预算下优于对比的事后对齐方法；在病理学领域三个零样本分类基准上，其平衡准确率匹配或超过所评估的病理专用视觉语言模型。
分类置信度
中 · 待人工复核
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
应用领域：医疗与生命科学
事件类型：研究发布
证据摘录
- “We propose Relative Alignment with Learnable Anchors and Token Evidence (ReLATE), which learns modality-specific anchors that jointly define relative representations and determine token contributions to each relative coordinate.”
来源：arXiv · cs.AI · arxiv.org