arXiv · cs.AI · Gustavo Tironi, Felipe Maia Polo, Diego Mesquita · 11 小时前模型评分36
少样本多指标:用 Beta 混合分布做低预算 人工智能(AI,Artificial Intelligence) 评测
Few Trials, Many Metrics: Beta Mixtures for Low-Budget AI Evaluation
导读
研究者提出用 Beta 混合分布拟合实例级成功概率,一次拟合即可闭式算出任意预测步长下的 Pass^k 与 AUC@k,并给出无需额外模型调用的置信区间。在竞赛数学和研究生级科学基准上,超出已观测试验次数外推时,该方法比朴素估计更准确,区间也能覆盖全量数据参考值。试验次数达到目标步长后,直接估计仍是更优选择。
分类置信度
中 · 待人工复核
- 只有单一媒体来源,需要人工复核。
来源级别:媒体与个人
事件类型:研究发布
证据摘录
- “We fit a mixture of Beta distributions by marginal maximum likelihood, with the number of components chosen by BIC.”
来源:arXiv · cs.AI · arxiv.org