论文总结AI辅助A/B实验智能体的经验与陷阱

Brett Daley等作者发表被CODE@MIT 2026接收的论文，总结构建和运行AI辅助A/B实验智能体的经验。核心结论是：不必让模型变得确定，而要限制其不确定性可以触及的范围——由模型选择和排序流程，所有数值都由确定性代码计算。 作者报告了三个意外发现：向模型隐瞒信息反而改善了回答；需求集中在日常检索，而非预期的自主决策；智能体急于帮忙会威胁统计有效性。

AI 根据报道生成 · 53 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。