研究用激活引导几何减少超参搜索

研究提出用可区分性指数（d'）这一计算成本低的几何指标，替代逐层扫描来为大语言模型选择表示引导层。该指数衡量对比训练激活沿引导方向分离的程度。 在 3 个模型的 5 种行为上，d' 能在多项选择问答（MCQA）中可靠定位有效引导层，并同样适用于开放式多 token 生成。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。