跳到正文
热点事件持续更新

小模型开放推理投票:数学有效、开放文本失效

1 篇报道1 个报道来源8 小时前更新

先了解这件事

AI 综述

Adam Y. Ahmed 与 Abdullah G. Elafifi 提出语义聚类投票:让小模型生成多个样本,按语义分组后取最大簇的代表作为答案,不需要奖励模型或自评判。他们在 Qwen2.5-3B、Llama-3.2-3B 和 Gemma-2-2B 上测试,数学题准确率提升 10 至 29 分,MATH-500 上提升 8.5 分(95% 置信区间 4.0 至 13.0)。 同一方法用于开放文本时,评分最多只提高 0.30 分。研究据此得出,这种无需评判的语义聚类投票能扩大小模型在数学类任务上的测试时收益,但在开放文本推理上失效。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月3日
  1. arXiv · cs.AI
    小模型开放推理的测试时扩展:语义聚类投票在数学上有效、在开放文本上失效

    研究用语义聚类投票(按语义分组小模型样本并取最大簇代表,无需奖励模型或自评判)测试小模型测试时扩展,在 Qwen2.5-3B、Llama-3.2-3B、Gemma-2-2B 上投票让数学题准确率提升 +10 至 +29 分,MATH-500 上提升 +8.5 分(95% CI [+4.0, +13.0]),但开放文本最多只加 +0.30 评分点。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。