arXiv · cs.AI · Asad Aali, Muhammad Ahmed Mohsin, Vasiliki Bikia, Arnav Singhvi, Richard Gaus, Suhana Bedi, Hejie Cui, Miguel Fuentes, Alyssa Unell, Yifan Mai, Jordan Cahoon, Michael Pfeffer, Roxana Daneshjou, Sanmi Koyejo, Emily Alsentzer, Christopher Potts, Nigam H. Shah, Akshay S. Chaudhari · 4 小时前模型评分49
DSPy+HELM 研究：结构化提示词可改变大模型评测榜单
Structured Prompts Improve Evaluation of Language Models
导读
一项可复现的 DSPy+HELM 基准研究显示，提示词选择会实质影响大模型排行榜：采用五种提示方法评测四个前沿模型和两个开源模型、覆盖七个基准后，结构化提示平均提升性能 6%，并在 5/7 个基准上改变排名。
分类置信度
中 · 待人工复核
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
事件类型：研究发布
证据摘录
- “Here, we conduct a reproducible DSPy+HELM benchmarking study and quantify how prompt choice impacts benchmark outcomes.”
- “We open-source (i) DSPy+HELM Evaluation ( this https URL ) and (ii) Prompt Optimization Pipeline ( this https URL ).”
来源：arXiv · cs.AI · arxiv.org