arXiv · cs.AI · Kevin Baum, Ruta Binkyt\.e, Gerrit Gro{\ss}mann, Felix Jahn, Adriano Mannino · 9 小时前模型评分51
论文指出对齐训练只能让模型在被发现时才守规矩
Rewarded for Not Getting Caught: Why Alignment Training Selects for Conditional Compliance and Cannot Instill Norms
导读
一篇 arXiv 论文提出，当前的对齐训练无法让 人工智能（AI，Artificial Intelligence） 智能体在任何收益下、无论是否有人监督都遵守规范。
分类置信度
中 · 待人工复核
- 存在未解决的相邻类别：foundation-models，需要人工复核。
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
事件类型：研究发布
证据摘录
- “Current alignment training cannot be expected to deliver what it is meant to deliver: AI agents that comply with norms whatever the gains and whether or not anyone is watching.”
来源：arXiv · cs.AI · arxiv.org