arXiv · cs.AI · Russell Ro, Qiming Cui, Reza Abbasi-Asl · 10 小时前模型评分47
BULLPEN：用多通道模型嵌入实现样本高效的大语言模型画像
From the Zoo to the BULLPEN: Sample-Efficient LLM Profiling via Multi-Channel Model Embeddings
导读
BULLPEN 框架在 EmbedLLM 基础上扩展，首次将模型自身回答文本与正确性、问题文本联合编码，并新增 20 个行为、风格与来源类任务基准。在 260 个开放权重模型上，其回答文本编码器在新任务上得分 0.48±0.10，优于此前最佳编码器的 0.35±0.10；仅用 400 个问题即可保留全量问题池至少 91% 的能力，推理计算量约为全量池的 1.3%。
分类置信度
中 · 待人工复核
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
事件类型：研究发布
证据摘录
- “We introduce BULLPEN (Behavioral Understanding of Large Language models via Profile ENcodings), a framework that extends EmbedLLM in three ways.”
- “Our encoders that read answer text keep at least 91% of their full-pool skill from only 400 questions (1.3% of the inference compute of the full question pool), while a correctness-only baseline keeps 83% with the same 400 questions.”
来源：arXiv · cs.AI · arxiv.org