arXiv · cs.AI · Nishkal Hundia, Swastik Agrawal, Navita Goyal, Sarah Wiegreffe · 7 小时前模型评分33
研究利用激活引导几何减少超参数搜索：以 d' 指标定位大语言模型引导层
Sweep Less, Steer More: Using Activation Steering Geometry for Reduced Hyperparameter Search
导读
研究提出用可区分性指数（d'，discriminability index）这一计算成本低的几何指标，替代逐层扫描来为大语言模型选择表示引导层。在 3 个模型的 5 种行为上，d' 能在多项选择问答（MCQA，Multiple-Choice Question Answering）中可靠定位有效引导层，并同样适用于开放式多 token 生成。
分类置信度
中 · 待人工复核
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
事件类型：研究发布
证据摘录
- “We build on the discriminability index $d'$, a compute-cheap geometric measure of how well contrastive training activations separate along the steering direction.”
来源：arXiv · cs.AI · arxiv.org