跳到正文
arXiv · cs.AI · Yangyu Wu, Siru Zhong, Haoyuan Liang, Yuxuan Liang · 11 小时前模型评分40

CivicBench:面向市政网页数据分析的基准与记忆框架

CivicBench: A Benchmark and Memory Framework for Web-Based Civic Data Analytics

导读

CivicBench 是一个覆盖四座城市、两年数据的 400 任务基准,把市政网页数据固化为可复现的数据包,并用可执行契约评估计算、来源链接、覆盖范围与无依据时拒绝作答。研究同时提出任务状态记忆(TSM,Task-State Memory),将工具观察编译为带类型的断言并按兼容范围对齐记录。在九组完整模型配对中,八组的平均分差为正且 95% 置信区间不含零。

生成六维分析
分类置信度

中 · 待人工复核

  • 存在未解决的相邻类别:ai-tooling,需要人工复核。
  • 只有单一媒体来源,需要人工复核。

来源级别:媒体与个人

应用领域:政务与公共事务

事件类型:研究发布

证据摘录

  • “We present CivicBench, a 400-task benchmark over four cities and two years that materializes civic Web data into frozen bundles for reproducible evaluation.”

来源:arXiv · cs.AI · arxiv.org