ReLATE：冻结编码器，用可学习锚点做后验对齐

Shiwon Kim、JaeSeong Hong 与 Yu Rang Park 提出 ReLATE 后验多模态对齐方法：冻结视觉与语言编码器，只学习各模态专属的可学习锚点，由这些锚点共同定义相对表示，并决定各 token 对每个相对坐标的贡献，训练时仅优化锚点而不更新编码器。 论文称，在 13 个通用领域基准、四类视觉语言任务上，相同配对数据预算下该方法优于所对比的后验对齐方法；在病理学领域三个零样本分类基准上，其平衡准确率匹配或超过所评估的病理专用视觉语言模型。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。