arXiv · cs.AI · Boyuan Deng, Shuyi Fan, Hongyang Zhang, Xinhong Xie · 9 小时前模型评分32
Jev 在科学决策语义选择任务上的评测:十二种模型配置对比
Jev for Scientific Decisions: Evaluating Semantic Choices and Their Consequences
导读
研究用一套遵循 Jev 文档指引的测试框架,在十个科学案例的二十个语义选择上对比十二种模型配置,每个重复五次,分别测量语义选择、下游输出和最终结论标签。Jev 在语义完全正确率上与另外五种配置并列,并在成功响应中取得最低中位延迟和已知平均成本。在一个判断样本是否共享培养条件的问题上,三种对比模型出现七次错误选择,改变了下游计数却仍保留正确的最终标签。
分类置信度
中 · 待人工复核
- 只有单一媒体来源,需要人工复核。
来源级别:媒体与个人
应用领域:科学研究
事件类型:研究发布
证据摘录
- “We evaluate Jev on this step, using a harness that follows its documented guidance.”
来源:arXiv · cs.AI · arxiv.org