arXiv · cs.AI · Issar Tzachor, Dvir Samuel, Rami Ben-Ari · 5 小时前模型评分42
VidVec：用纯文本优化释放视频 MLLM 嵌入的视频文本检索能力
VidVec: Unlocking Video MLLM Embeddings for Video-Text Retrieval
导读
VidVec 提出一种无需配对多模态数据的纯文本优化方法，把预训练多模态大语言模型（MLLM，Multimodal Large Language Model）的中间层嵌入与校准后的 MLLM 头结合，零样本即可完成视频文本检索。该方法用密集视频描述和短摘要做文本对齐，效果超过使用视频文本配对监督训练的版本，并在常见视频文本检索基准上取得当前最优性能。
分类置信度
中 · 待人工复核
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
事件类型：研究发布
证据摘录
- “To further exploit these capabilities, we introduce a lightweight text-based optimization strategy that requires no paired multimodal data.”
来源：arXiv · cs.AI · arxiv.org