跳到正文
热点事件持续更新

研究提出TOMPA攻击:非语言文本可骗过奖励模型

1 篇报道1 个报道来源7 小时前更新

先了解这件事

AI 综述

Yuheng Zhang等研究者提出名为TOMPA(Token Mapping Perturbation Attack)的攻击框架,用扰动后的token映射把攻击大语言模型的搜索范围扩展到自然语言之外,生成非语言文本,交由奖励模型打分,再以这些分数为奖励、通过强化学习训练攻击模型。按该研究的说法,这类无意义文本能让奖励模型给出更高分,暴露出奖励模型在非语言对抗输入上的漏洞。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月3日
  1. arXiv · cs.AI
    研究提出 TOMPA 攻击:无意义文本可骗过奖励模型拿到更高分

    研究团队提出 Token Mapping Perturbation Attack(TOMPA),用扰动后的 token 映射把攻击大语言模型的搜索扩展到自然语言之外,生成非语言文本让奖励模型打分,再用这些分数作为奖励通过强化学习训练攻击模型。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。