arXiv · cs.AI · Yangyu Wu, Siru Zhong, Haoyuan Liang, Yuxuan Liang · 11 小时前模型评分40
CivicBench:面向市政网页数据分析的基准与记忆框架
CivicBench: A Benchmark and Memory Framework for Web-Based Civic Data Analytics
导读
CivicBench 是一个覆盖四座城市、两年数据的 400 任务基准,把市政网页数据固化为可复现的数据包,并用可执行契约评估计算、来源链接、覆盖范围与无依据时拒绝作答。研究同时提出任务状态记忆(TSM,Task-State Memory),将工具观察编译为带类型的断言并按兼容范围对齐记录。在九组完整模型配对中,八组的平均分差为正且 95% 置信区间不含零。
分类置信度
中 · 待人工复核
- 存在未解决的相邻类别:ai-tooling,需要人工复核。
- 只有单一媒体来源,需要人工复核。
来源级别:媒体与个人
应用领域:政务与公共事务
事件类型:研究发布
证据摘录
- “We present CivicBench, a 400-task benchmark over four cities and two years that materializes civic Web data into frozen bundles for reproducible evaluation.”
来源:arXiv · cs.AI · arxiv.org