arXiv · cs.AI · Jiacheng Ding, Yanliang Qi, Cong Guo, Peihua Mai · 11 小时前模型评分47
See, Think, Use：诊断视觉语言模型的感知与推理失败
See, Think, Use: Diagnosing Perception and Reasoning Failures in VLMs
导读
研究者提出 See, Think, Use 协议，把视觉语言模型（VLM，Vision-Language Model）的每个答案追溯到感知、推理或对感知的利用三个阶段，无需访问模型权重，每道题只多问两个问题。该协议通过定位探针测“看”、文本替换探针测“想”，并用反事实图像对衡量答案跟随自身感知的比例，无需答案标签。在两个模型家族、六个数据集上，按测得的阶段分配测试时算力接近最优统一策略且成本更低。
分类置信度
中 · 待人工复核
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
事件类型：研究发布
证据摘录
- “We present See, Think, Use, a protocol that traces each answer of a vision-language model to perception, reasoning or the use of perception.”
- “The protocol asks the model two extra questions per item and needs no access to its weights.”
- “We will release the code, the prompts and the per-question outputs.”
来源：arXiv · cs.AI · arxiv.org