arXiv · cs.AI · Vartan Shadarevian, Kia Ghods, Alex Kenich, Anany Kotawala · 9 小时前模型评分49
GENSTRAT：用程序化生成博弈评测大语言模型的策略推理能力
GENSTRAT: Toward a Science of Strategic Reasoning in Large Language Models
导读
GENSTRAT 通过程序化生成双人零和不完全信息下注博弈，按状态空间、时序偶然性等五个复杂度维度刻画每局游戏，并构建了 50 局基准，让 12 个前沿与开放权重模型进行了超过 4 万场对战。结果显示，在 8 局最难游戏上，最好与最差模型的差距是全部游戏上差距的 1.7 倍；更高的思考预算、向模型披露对手策略、以及与游戏需求匹配的推理深度，都与模型更高的胜率差相关。
分类置信度
中 · 待人工复核
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
事件类型：研究发布
证据摘录
- “We introduce GENSTRAT, a system for evaluating the strategic capabilities of LLMs driven by procedural generation of two-player zero-sum imperfect-information betting games, allowing an evaluator to draw novel, fresh games on demand.”
来源：arXiv · cs.AI · arxiv.org