法律基准 UA-JudgeExam 曝选项盲答泄漏

研究者 Volodymyr Ovcharov 发布乌克兰法官资格考试数据集 UA-JudgeExam（11,990 道四选项法律题）及其实测结果：隐藏题干、只给选项时，Claude Haiku 4.5 得分 0.383，高于随机水平；GPT-5.6 与 Gemini 3.1 Pro 同样显著高于随机。研究还发现 11.8% 的题目在全部八种选项顺序下都能被盲答，即答案可由选项本身泄漏。 按此筛除后剩 8,128 题，参与筛选的模型自身得分降至 0.204，而未参与筛选的 GPT-5.6 在隐藏题干时仍答对 0.515。改写道干扰项则降到 0.168，低于随机水平，研究者称这同样可被利用。 团队同时公开了语料、预测结果与评测工具。

AI 根据报道生成 · 4 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。