跳到正文
arXiv · cs.AI · Boyuan Deng, Shuyi Fan, Hongyang Zhang, Xinhong Xie · 9 小时前模型评分32

Jev 在科学决策语义选择任务上的评测:十二种模型配置对比

Jev for Scientific Decisions: Evaluating Semantic Choices and Their Consequences

导读

研究用一套遵循 Jev 文档指引的测试框架,在十个科学案例的二十个语义选择上对比十二种模型配置,每个重复五次,分别测量语义选择、下游输出和最终结论标签。Jev 在语义完全正确率上与另外五种配置并列,并在成功响应中取得最低中位延迟和已知平均成本。在一个判断样本是否共享培养条件的问题上,三种对比模型出现七次错误选择,改变了下游计数却仍保留正确的最终标签。

生成六维分析
分类置信度

中 · 待人工复核

  • 只有单一媒体来源,需要人工复核。

来源级别:媒体与个人

应用领域:科学研究

事件类型:研究发布

证据摘录

  • “We evaluate Jev on this step, using a harness that follows its documented guidance.”

来源:arXiv · cs.AI · arxiv.org