跳到正文
arXiv · cs.AI · Artin Yousefi, Aizierjiang Aiersilan, Lorien C Abroms, David A Broniatowski · 12 小时前模型评分58

研究审计六款大模型戒烟建议:同一问题因用户身份不同答案不同

Same Question, Different Answers: Auditing Persona-Dependent Variation in Six LLMs on Smoking-Cessation Advice

导读

研究团队向四家厂商的六款大语言模型(LLM,Large Language Model)提出同样的四个戒烟问题,并搭配十二种不同用户画像,共收集 2880 条回答,发现模型给出的内容取决于提问者看起来是谁。

生成六维分析
分类置信度

中 · 待人工复核

  • 只有单一媒体来源,需要人工复核。

来源级别:媒体与个人

应用领域:医疗与生命科学

事件类型:研究发布

证据摘录

  • “We audit six widely deployed LLMs from four providers on smoking cessation, a domain with codified clini- cal guidance and substantial public-health stakes, by putting the same four cessation questions to twelve user personas that differ in life stage, self-described expertise, and smoking history, for a total of 2,880 responses.”
  • “We release all 2,880 responses and the analysis code.”

来源:arXiv · cs.AI · arxiv.org