arXiv · cs.AI · Michael Feffer, Alice Qian, Anusha Sinha, Muye Zhang, Shalini Ghosh, Rachel Phinnemore, Bart Stawicki, Hong Shen, Hoda Heidari · 8 小时前模型评分47
人工智能（AI，Artificial Intelligence） 红队测试指令的框架效应：来自既往实践与受控模拟的证据
On the Framing Effect of AI Red-Teaming Instructions: Evidence from Prior Exercises and Controlled Simulations
导读
一项研究分析 228 项既往 人工智能（AI，Artificial Intelligence） 红队测试工作，并用 45 种指令框架对 5 个开源权重模型发起 22,500 次攻击，发现指令写法会显著影响攻击成功率。风险粒度最低和最高、指令过短或过长都优于中等水平，附带示例会提高成功率，给出明确危害定义则降低成功率。这意味着红队测试结果仍受人类提供的指令影响。
分类置信度
中 · 待人工复核
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
事件类型：研究发布
证据摘录
- “In this work, we focus on the instructions used to conduct red-teaming exercises and hypothesize that they can significantly affect outcomes in a manner analogous to the framing effect in psychology, where the format in which information is presented greatly impacts how people respond.”
来源：arXiv · cs.AI · arxiv.org