arXiv · cs.AI · Sheridan Feucht, Benno Krojer, Sarah Wang, Henry Abrahamsen, Byron C. Wallace, David Bau · 11 小时前模型评分43
研究用 OCR 注意力头解读视觉语言模型的图像语义
Using OCR Heads to Verbalize Image Semantics
导读
研究者在四个视觉语言模型（VLM，Vision-Language Model）中定位到对光学字符识别（OCR，Optical Character Recognition）因果必要的注意力头，发现这些头其实是通用语义头，指向含“bike”的图像 token 会输出“bike”，指向鸟翼则输出“feathers”。
分类置信度
中 · 待人工复核
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
事件类型：研究发布
证据摘录
- “Across four models, we identify attention heads causally necessary for OCR, and discover that these are in fact general-purpose heads that output interpretable semantic features across all image tokens.”
来源：arXiv · cs.AI · arxiv.org