arXiv · cs.AI · Yuheng Zhang, Mingyue Huo, Minghao Zhu, Mengxue Zhang, Nan Jiang · 9 小时前模型评分56
研究提出 TOMPA 攻击:无意义文本可骗过奖励模型拿到更高分
Fooling Reward Models with Gibberish: Adversarial Examples Beyond the Semantic Regime
导读
研究团队提出 Token Mapping Perturbation Attack(TOMPA),用扰动后的 token 映射把攻击大语言模型的搜索扩展到自然语言之外,生成非语言文本让奖励模型打分,再用这些分数作为奖励通过强化学习训练攻击模型。
分类置信度
中 · 待人工复核
- 只有单一媒体来源,需要人工复核。
来源级别:媒体与个人
事件类型:研究发布
证据摘录
- “To systematically discover such inputs, we introduce Token Mapping Perturbation Attack (TOMPA), a framework that uses a perturbed token mapping to extend an attack LLM's search beyond natural language.”
来源:arXiv · cs.AI · arxiv.org