arXiv · cs.AI · Ezgi Sar{\i}kayak, Wenchao Gu, Hesham Ghonim, Chunyang Chen · 11 小时前模型评分53
SWE-Opt：评估大语言模型仓库级性能优化能力的基准
SWE-Opt: A Benchmark for Evaluating LLMs on Performance-Oriented Repository-Level Optimization
导读
研究团队提出仓库级基准 SWE-Opt，用 102 个来自开源项目的专家优化任务评估大语言模型在真实代码库中的性能优化能力。该基准为每个任务配套参数化测试，在噪声感知的测量条件下考察运行时间、峰值内存和时间加权内存占用（TWMU，Time-Weighted Memory Usage）。
分类置信度
中 · 待人工复核
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
事件类型：研究发布
证据摘录
- “We address this by introducing SWE-Opt, a repository-level benchmark derived from 102 expert-written optimizations from open-source projects.”
来源：arXiv · cs.AI · arxiv.org