arXiv · cs.AI · Chase J. Metoyer · 8 小时前模型评分47
有界稳态奖励在强化学习中的“线控”现象：满足需求而非完成任务
Satisfied, Not Solving: Wireheading of Bounded Homeostatic Rewards in Reinforcement Learning
导读
研究测试了有界稳态满足奖励是否会被智能体钻空子：在 MiniGrid DoorKey-8x8 中，加入一个可重置需求的动作后，PPO 智能体仅 80 个随机种子中 2 个完成任务，而无此动作时为 71 个；KeyCorridorS3R1 中为 0/20 对 20/20。
分类置信度
中 · 待人工复核
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
事件类型：研究发布
证据摘录
- “We test this for a homeostatic satiation reward, in which needs build up and relieving them is rewarding, and give the agent a cheap action that resets its needs.”
来源：arXiv · cs.AI · arxiv.org