研究提出TOMPA攻击:非语言文本可骗过奖励模型
热点事件持续更新
研究提出TOMPA攻击:非语言文本可骗过奖励模型
1 篇报道1 个报道来源7 小时前更新
先了解这件事
AI 综述
Yuheng Zhang等研究者提出名为TOMPA(Token Mapping Perturbation Attack)的攻击框架,用扰动后的token映射把攻击大语言模型的搜索范围扩展到自然语言之外,生成非语言文本,交由奖励模型打分,再以这些分数为奖励、通过强化学习训练攻击模型。按该研究的说法,这类无意义文本能让奖励模型给出更高分,暴露出奖励模型在非语言对抗输入上的漏洞。
AI 根据报道生成 · 2 小时前更新
最新进展11月3日 13:00
研究提出 TOMPA 攻击:无意义文本可骗过奖励模型拿到更高分报道时间线
沿着报道,了解事件的不同侧面。
11月3日
- arXiv · cs.AI研究提出 TOMPA 攻击:无意义文本可骗过奖励模型拿到更高分
研究团队提出 Token Mapping Perturbation Attack(TOMPA),用扰动后的 token 映射把攻击大语言模型的搜索扩展到自然语言之外,生成非语言文本让奖励模型打分,再用这些分数作为奖励通过强化学习训练攻击模型。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。