跳到正文
热点事件持续更新

视觉思维链视觉信息不可信,SCCM 提升忠实度

1 篇报道1 个报道来源10 小时前更新

先了解这件事

AI 综述

研究发现,大型视觉语言模型经强化微调生成的多模态思维链,即使最终答案正确,其中描述的视觉信息也常不准确:干扰视觉内容后,模型预测几乎不变,说明推理过程并未真正依赖所看到的图像。 针对这一问题,Zujing Liu 等作者提出 Sufficient-Component Cause Model(SCCM)学习方法,称其无需标注、即插即用,可兼容多种面向多模态思维链的强化微调方法,代码已公开。

AI 根据报道生成 · 4 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月2日
  1. arXiv · cs.AI
    研究揭示视觉思维链的视觉信息不可信,提出 SCCM 学习提升忠实度

    研究发现,大型视觉语言模型(LVLM,Large Vision-Language Model)经强化微调(RFT,Reinforcement Fine-Tuning)生成的多模态思维链(MCoT,Multimodal Chain-of-Thought)中,视觉信息即使答案正确也常不准确,干扰视觉内容后预测几乎不变。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。