arXiv · cs.AI · Sowjanya Karanam, Jayanth Bhargav · 8 小时前模型评分32
用蜕变测试评估情感分析模型的鲁棒性
Metamorphic Testing for Evaluating Robustness of Sentiment Analysis Models
导读
一项研究提出轻量级批处理式蜕变测试方法，用同义词替换、错字注入、语序变化和否定四种变换评估预训练情感分析分类器的鲁棒性。研究通过一致性得分、翻转准确率和置信度变化，发现模型能较好处理语义变化，但对文本噪声和逻辑变换较为脆弱。该工作表明蜕变测试可揭示准确率、F1-score 等常规指标之外的行为不一致。
分类置信度
中 · 待人工复核
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
事件类型：研究发布
证据摘录
- “Motivated by this growing need, this paper presents a lightweight, batch-based metamorphic testing approach for evaluating the robustness of such systems.”
来源：arXiv · cs.AI · arxiv.org