arXiv · cs.AI · Brett Daley, Ilya Gorbachev, Anubhav Natani, Nicholas Brown, Athena Dai, Rachel Song, Marcin Pekalski, Josip Domazet, Anchal Choubey, Daniel Ting · 3 小时前模型评分50
论文总结大规模 人工智能（AI，Artificial Intelligence） 辅助 A/B 实验的经验与陷阱
Learnings and Pitfalls from AI-Assisted A/B Experimentation at Scale
导读
一篇被 CODE@MIT 2026 接收的论文总结了构建和运行 人工智能（AI，Artificial Intelligence） 辅助 A/B 实验智能体的经验，核心结论是不必让模型变得确定，而是限制其不确定性可以触及的范围，由模型选择和排序流程，所有数值都由确定性代码计算。作者报告了三个意外发现：向模型隐瞒信息反而改善了回答，需求集中在日常检索而非预期的自主决策，智能体急于帮忙会威胁统计有效性。
分类置信度
中 · 待人工复核
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
事件类型：研究发布
证据摘录
- “We report lessons from building and operating such an agent.”
来源：arXiv · cs.AI · arxiv.org