跳到正文
arXiv · cs.AI · Zhanghao Hu, Linhai Zhang, Qian Zhao, Qi Zhu, Yuan Hua, Di Liang, Jiasheng Si, Xin Zhao, Yulan He, Zhumin Chen, Lin Gui · 3 小时前模型评分58

GroupAssistBench:用真实群聊评估群组助手的记忆使用能力

One Assistant, Many Memories: Benchmarking Real-World Group Assistance When Recall Is Not Enough

导读

研究团队发布 GroupAssistBench,这是首个基于真实群聊对话、面向已部署群组助手的记忆基准,覆盖 50 个群组共 80,299 条消息,构建成本超过 5.3 万美元。

分类置信度

中 · 待人工复核

  • 只有单一媒体来源,需要人工复核。

来源级别:媒体与个人

事件类型:研究发布

证据摘录

  • “We introduce GroupAssistBench, the first memory benchmark from real-world group conversations with a deployed group assistant, covering 80,299 messages in 50 groups and costing over $53K.”

来源:arXiv · cs.AI · arxiv.org