跳到正文
arXiv · cs.AI · Zujing Liu, Junwen Pan, Qi She, Yuan Gao, Guisong Xia · 10 小时前模型评分45

研究揭示视觉思维链的视觉信息不可信,提出 SCCM 学习提升忠实度

On the Faithfulness of Visual Thinking: Measurement and Enhancement

导读

研究发现,大型视觉语言模型(LVLM,Large Vision-Language Model)经强化微调(RFT,Reinforcement Fine-Tuning)生成的多模态思维链(MCoT,Multimodal Chain-of-Thought)中,视觉信息即使答案正确也常不准确,干扰视觉内容后预测几乎不变。

生成六维分析
分类置信度

中 · 待人工复核

  • 只有单一媒体来源,需要人工复核。

来源级别:媒体与个人

事件类型:研究发布

证据摘录

  • “To address this issue, we propose Sufficient-Component Cause Model (SCCM) learning.”
  • “The proposed SCCM is annotation-free and plug-and-play, compatible with various RFT for MCoT.”

来源:arXiv · cs.AI · arxiv.org