LUCA：用合成世界评测智能体实验推理

Anna Gogleva 等作者提出 LUCA，一个可配置的合成世界，在真实答案完全已知的条件下评测智能体的实验推理过程。智能体需在有限预算内学习一个未知的调控系统，再预测未见的干预、诊断隐藏故障并尝试修复，从而把实验选择、预测、诊断和干预分开评估。 作者称，在七个前沿大语言模型和三个基线上，这些能力明显分离：诊断能力在不同模型间相差 7 倍，预测能力只相差 1.4 倍。模型常能修复故障系统却诊断错故障，且探索更多并不稳定带来更好表现。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。