Jev科学决策语义选择评测：十二种模型配置对比

Boyuan Deng 等作者发布论文，用一套遵循 Jev 文档指引的测试框架，在十个科学案例的二十个语义选择上对比十二种模型配置，每种重复五次，分别测量语义选择、下游输出和最终结论标签。结果显示，Jev 的语义完全正确率与另外五种配置并列，并在成功响应中取得最低中位延迟和已知平均成本。 在一个判断样本是否共享培养条件的问题上，三种对比模型共出现七次错误选择，改变了下游计数，但最终标签仍然正确。这说明只看最终结论标签，可能掩盖中间语义选择环节的错误。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。