arXiv · cs.AI · Aaron Broukhim, Nadir Weibel, Eshin Jolly · 4 小时前模型评分48
同一语义、不同判断：偏好标注如何随文本与音频模态变化
Same Words, Different Judgments: How Preferences Vary Across Modalities
导读
一项基于组内相关系数（ICC，Intraclass Correlation Coefficient）的跨模态对照研究比较了 100 条提示下相同语义内容的文本与音频偏好标注，发现两种模态均需约 9 名标注者才能达到约 0.80 的良好一致性，但跨模态一致性接近随机水平。
分类置信度
中 · 待人工复核
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
事件类型：研究发布
证据摘录
- “We present the first intraclass correlation coefficient (ICC)-based, controlled cross-modal study of human and synthetic preference annotations, comparing text and audio evaluations of identical semantic content across 100 prompts.”
- “Code, data, and the audio corpus are available at: this https URL”
来源：arXiv · cs.AI · arxiv.org