arXiv · cs.AI · Wayner Barrios, Kenneth Barrios · 9 小时前模型评分49
安全标签到底测了什么？多模态大模型情境安全基准审计
What Does a Safety Label Measure? Auditing Situational-Safety Benchmarks for Multimodal LLMs
导读
研究提出基准卡片（Benchmark Card）方法，用七个可测量字段审计六个多模态大模型情境安全基准，发现 MSSBench chat 的图像文件本身泄露标签，仅凭图像尺寸即可达到 82.3% 准确率，与七个商业模型中六个持平或更优。
分类置信度
中 · 待人工复核
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
事件类型：研究发布
证据摘录
- “We propose the Benchmark Card, seven measured fields that tell them apart, and fill it for six benchmarks.”
来源：arXiv · cs.AI · arxiv.org