跳到正文
热点事件持续更新

SERIAL-7韩英可执行验证基准发布

1 篇报道1 个报道来源10 小时前更新

先了解这件事

AI 综述

Youngkyung Seo 等作者发布 SERIAL-7:一个韩英双语基准,用可执行验证框架检验大语言模型在七种表示上的机器可验证生成,包含 177 个经校验的规范产物和 43 条原子表示约束。基准将任务分为语义推导、受限产物生成和跨表示保持三步,并逐级加严格式、结构与任务语义检查。作者在十个模型上测得 REALIZE-L3 的 HSR 为 42.0% 至 93.9%;完全合规检查还显示,即使最终答案正确、表示合法,仍会出现产物级失败。

AI 根据报道生成 · 3 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月2日
  1. arXiv · cs.AI
    SERIAL-7:面向七种表示的可执行验证基准,衡量机器可验证输出

    SERIAL-7 是一个韩英双语基准,用可执行验证框架检验大语言模型在七种表示上的机器可验证生成,包含 177 个经校验的规范产物和 43 条原子表示约束。它把任务拆成语义推导、受限产物生成和跨表示保持三步,并逐级加严检查格式、结构与任务语义。在十个模型上,REALIZE-L3 的 HSR 从 42.0% 到 93.9%,完全合规检查还暴露出最终答案正确、表示合法之外的产物级失败。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。