跳到正文
arXiv · cs.AI · Youngkyung Seo, MiHyeon Kim, Jisoo Lee, Hwijung Ryu · 9 小时前模型评分37

SERIAL-7:面向七种表示的可执行验证基准,衡量机器可验证输出

SERIAL-7: Deriving, Realizing, and Preserving Machine-Verifiable Outputs Across Representations

导读

SERIAL-7 是一个韩英双语基准,用可执行验证框架检验大语言模型在七种表示上的机器可验证生成,包含 177 个经校验的规范产物和 43 条原子表示约束。它把任务拆成语义推导、受限产物生成和跨表示保持三步,并逐级加严检查格式、结构与任务语义。在十个模型上,REALIZE-L3 的 HSR 从 42.0% 到 93.9%,完全合规检查还暴露出最终答案正确、表示合法之外的产物级失败。

生成六维分析
分类置信度

中 · 待人工复核

  • 只有单一媒体来源,需要人工复核。

来源级别:媒体与个人

事件类型:研究发布

证据摘录

  • “We introduce SERIAL-7, a Korean-English benchmark built around an executable verification framework for machine-verifiable generation across seven representations.”

来源:arXiv · cs.AI · arxiv.org