arXiv · cs.AI · Ruozhao Yang, Mingfei Cheng, Gelei Deng, Tianwei Zhang, Junjie Wang, Xiaofei Xie · 8 小时前模型评分41
PentestEval：面向 大语言模型（LLM，Large Language Model） 渗透测试的模块化分阶段基准
PentestEval: Benchmarking LLM-based Penetration Testing with Modular and Stage-Level Design
导读
PentestEval 是首个按渗透测试流程拆分为信息收集、弱点收集与筛选、攻击决策、漏洞利用生成与修正等阶段的 LLM 评测基准，覆盖 12 个真实漏洞场景、346 个任务。对 9 个常用大语言模型（LLM，Large Language Model）的分阶段评测显示整体表现偏弱，端到端流程成功率仅 31%，PentestGPT、PentestAgent、VulnBot 等系统也表现出类似局限。
分类置信度
中 · 待人工复核
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
应用领域：法律与合规
事件类型：研究发布
证据摘录
- “To address this gap, we introduce PentestEval, the first comprehensive benchmark for evaluating LLMs across six decomposed penetration testing stages: Information Collection, Weakness Gathering and Filtering, Attack Decision-Making, Exploit Generation and Revision.”
- “PentestEval integrates expert-annotated ground truth with a fully automated evaluation pipeline across 346 tasks covering all stages in 12 realistic vulnerable scenarios.”
来源：arXiv · cs.AI · arxiv.org