arXiv · cs.AI · Luxi He, Pengcheng Jiang, Jifan Zhang, Jiawei Han, Danqi Chen · 5 小时前模型评分47
PEARL：在 Qwen3-4B 与 GPT-OSS-20B 上持久抑制语言模型的不对齐行为
Suppressing Misaligned Behaviors in Language Models, Durably
导读
研究者提出 Prefix-Expanded Adversarial Reinforcement Learning（PEARL），一种 GRPO 变体，通过在缓存轨迹的中间状态上扩展 rollout 来抑制模型的不对齐行为。
分类置信度
中 · 待人工复核
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
事件类型：研究发布
证据摘录
- “We introduce Prefix-Expanded Adversarial Reinforcement Learning (PEARL), a GRPO variant that augments rollouts with continuations from intermediate states sampled along cached organism trajectories.”
来源：arXiv · cs.AI · arxiv.org