arXiv · cs.AI · Zujing Liu, Junwen Pan, Qi She, Yuan Gao, Guisong Xia · 10 小时前模型评分45
研究揭示视觉思维链的视觉信息不可信,提出 SCCM 学习提升忠实度
On the Faithfulness of Visual Thinking: Measurement and Enhancement
导读
研究发现,大型视觉语言模型(LVLM,Large Vision-Language Model)经强化微调(RFT,Reinforcement Fine-Tuning)生成的多模态思维链(MCoT,Multimodal Chain-of-Thought)中,视觉信息即使答案正确也常不准确,干扰视觉内容后预测几乎不变。
分类置信度
中 · 待人工复核
- 只有单一媒体来源,需要人工复核。
来源级别:媒体与个人
事件类型:研究发布
证据摘录
- “To address this issue, we propose Sufficient-Component Cause Model (SCCM) learning.”
- “The proposed SCCM is annotation-free and plug-and-play, compatible with various RFT for MCoT.”
来源:arXiv · cs.AI · arxiv.org