arXiv · cs.AI · Jackson Petty, William Merrill, Ashish Sabharwal · 9 小时前模型评分51
论文提出状态追踪的四级难度层级与基准 StateBench
A Fine-Grained Hierarchy and Benchmark for State Tracking in Language Models
导读
论文提出用四级递增难度的字问题层级来评估语言模型的状态追踪能力，依次为 r-trivial、aperiodic、soluble 和一般有限状态追踪，并构建了四档长程状态追踪基准 StateBench。
分类置信度
中 · 待人工复核
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
事件类型：研究发布
证据摘录
- “Taking these ideas to practice, we construct StateBench, a 4-tier long-horizon state-tracking benchmark.”
来源：arXiv · cs.AI · arxiv.org