视觉思维链视觉信息不可信,SCCM 提升忠实度
热点事件持续更新
视觉思维链视觉信息不可信,SCCM 提升忠实度
1 篇报道1 个报道来源10 小时前更新
先了解这件事
AI 综述
研究发现,大型视觉语言模型经强化微调生成的多模态思维链,即使最终答案正确,其中描述的视觉信息也常不准确:干扰视觉内容后,模型预测几乎不变,说明推理过程并未真正依赖所看到的图像。 针对这一问题,Zujing Liu 等作者提出 Sufficient-Component Cause Model(SCCM)学习方法,称其无需标注、即插即用,可兼容多种面向多模态思维链的强化微调方法,代码已公开。
AI 根据报道生成 · 4 小时前更新
最新进展11月2日 13:00
研究揭示视觉思维链的视觉信息不可信,提出 SCCM 学习提升忠实度报道时间线
沿着报道,了解事件的不同侧面。
11月2日
- arXiv · cs.AI研究揭示视觉思维链的视觉信息不可信,提出 SCCM 学习提升忠实度
研究发现,大型视觉语言模型(LVLM,Large Vision-Language Model)经强化微调(RFT,Reinforcement Fine-Tuning)生成的多模态思维链(MCoT,Multimodal Chain-of-Thought)中,视觉信息即使答案正确也常不准确,干扰视觉内容后预测几乎不变。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。