Beta混合模型用于低预算AI评测

Gustavo Tironi等作者提出用Beta混合分布拟合AI评测中的实例级成功概率，使低预算评测一次拟合即可闭式算出任意预测步长下的Pass^k和AUC@k，并给出无需额外模型调用的置信区间。 在竞赛数学和研究生级科学基准上，当需要外推到已观测试验次数之外时，该方法比朴素估计更准确，置信区间也能覆盖全量数据参考值；若试验次数已达到目标步长，直接估计仍是更优选择。

AI 根据报道生成 · 5 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。