arXiv · cs.AI · Ao Lu, Yuanhao Zeng, Shaocheng Lan, Sijie Xu, Jiacheng Bao, Kuang Yan, Heng Lin, Kan Ren · 8 小时前模型评分52
SessionFarmer 从真实 vibe coding 会话中构建编码智能体评测基准
Harvesting SWE Benchmarks from Wild Vibe Coding Sessions
导读
研究团队提出 SessionFarmer 框架，把开发者与编码智能体的对话和代码提交记录自动转成可独立执行、可复现的软件工程任务。该框架会过滤无关会话，把跨多轮甚至多次会话的交互归并成围绕同一工程目标的工作片段，再重建隔离执行容器、生成任务说明，并配套基于仓库的评分标准和单元测试。
分类置信度
中 · 待人工复核
- 存在未解决的相邻类别：ai-tooling，需要人工复核。
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
事件类型：研究发布
证据摘录
- “We present SessionFarmer, an automated framework that turns these records into self-contained, executable software engineering tasks.”
- “We construct CropChat, an open benchmark of 242 tasks across 61 public repositories and 14 programming languages, and CropEnterprise from proprietary enterprise logs.”
来源：arXiv · cs.AI · arxiv.org