BP-TD：同源LLM智能体的无监督真值发现方法

Laure Berti-Equille 提出 BP-TD，一种面向共享同一基座模型的大语言模型智能体的无监督真值发现方法：它在单币 Dawid-Skene 模型的平均场变分推断中加入按智能体分配的去相关权重，使同源智能体合计约算一票。在 MMLU 上，13 个本地智能体在无任何标签时，BP-TD 的准确率为 0.716，高于多数投票的 0.624（160 题）；在 1 万题上为 0.707 对 0.674。论文称，它还能按真实准确率给智能体排序，而经典估计器会把这个排序颠倒。 论文称，增益取决于参与聚合的智能体池：在四个基准的 2852 个子池上，当最大相关群体弱于其他智能体时，去相关有益；当该群体最强时反而有害，且没有无标签统计量能区分这两种情况。 论文还称，标注数据会很快改变这一结论：有 20 道标注题时，在 MMLU、ARC 和 TruthfulQA 上，直接选单个最佳智能体比其测试的所有聚合方法都更准。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。