跳到正文
arXiv · cs.AI · Yuheng Zhang, Mingyue Huo, Minghao Zhu, Mengxue Zhang, Nan Jiang · 9 小时前模型评分56

研究提出 TOMPA 攻击:无意义文本可骗过奖励模型拿到更高分

Fooling Reward Models with Gibberish: Adversarial Examples Beyond the Semantic Regime

导读

研究团队提出 Token Mapping Perturbation Attack(TOMPA),用扰动后的 token 映射把攻击大语言模型的搜索扩展到自然语言之外,生成非语言文本让奖励模型打分,再用这些分数作为奖励通过强化学习训练攻击模型。

生成六维分析
分类置信度

中 · 待人工复核

  • 只有单一媒体来源,需要人工复核。

来源级别:媒体与个人

事件类型:研究发布

证据摘录

  • “To systematically discover such inputs, we introduce Token Mapping Perturbation Attack (TOMPA), a framework that uses a perturbed token mapping to extend an attack LLM's search beyond natural language.”

来源:arXiv · cs.AI · arxiv.org