跳到正文
arXiv · cs.AI · Gustavo Tironi, Felipe Maia Polo, Diego Mesquita · 11 小时前模型评分36

少样本多指标:用 Beta 混合分布做低预算 人工智能(AI,Artificial Intelligence) 评测

Few Trials, Many Metrics: Beta Mixtures for Low-Budget AI Evaluation

导读

研究者提出用 Beta 混合分布拟合实例级成功概率,一次拟合即可闭式算出任意预测步长下的 Pass^k 与 AUC@k,并给出无需额外模型调用的置信区间。在竞赛数学和研究生级科学基准上,超出已观测试验次数外推时,该方法比朴素估计更准确,区间也能覆盖全量数据参考值。试验次数达到目标步长后,直接估计仍是更优选择。

生成六维分析
分类置信度

中 · 待人工复核

  • 只有单一媒体来源,需要人工复核。

来源级别:媒体与个人

事件类型:研究发布

证据摘录

  • “We fit a mixture of Beta distributions by marginal maximum likelihood, with the number of components chosen by BIC.”

来源:arXiv · cs.AI · arxiv.org