LUCA：用于评测实验推理的合成世界

作者提出 LUCA，一个可配置的合成世界，在完全已知的真实答案下评测智能体的实验推理过程。智能体在有限预算内学习未知调控系统，再预测未见干预、诊断隐藏故障并尝试修复，从而把实验选择、预测、诊断和干预分开评估。在七个前沿大语言模型和三个基线中，这些能力明显分离：诊断能力在不同模型间相差 7 倍，预测只相差 1.4 倍；模型常能修复故障系统却诊断错故障，且探索更多并不稳定带来更好表现。