AI控制监控数据集存校验缺陷,研究者发布重建版
热点事件持续更新
AI控制监控数据集存校验缺陷,研究者发布重建版
1 篇报道1 个报道来源10 小时前更新
先了解这件事
AI 综述
Shubhrangshu Debsarkar 与 Valmik Nahata 发布重建的 AI 控制监控评测数据集及有效性校验;他们指出原数据集存在标签泄露:诚实代码由人编写、后门代码由较老语言模型生成,代码风格本身暴露类别。 在该标准集上,不运行代码的简单特征就能区分诚实代码与后门代码,表现超过 24 个开源权重监控模型中的 20 个。 作者还称,原测试集中七分之一的后门未通过有效性校验,会扭曲不同攻击者之间的比较。
AI 根据报道生成 · 4 小时前更新
最新进展11月2日 13:00
研究:简单特征在人工智能(AI,Artificial Intelligence)控制监控评测中胜过多数监控模型报道时间线
沿着报道,了解事件的不同侧面。
11月2日
- arXiv · cs.AI研究:简单特征在人工智能(AI,Artificial Intelligence)控制监控评测中胜过多数监控模型
一项研究发现,在标准评测数据集上,不运行代码的简单特征就能区分诚实代码与后门代码,表现超过24个开源权重监控模型中的20个。作者指出该数据集存在两处标签泄露:诚实方案由人编写、后门由较老语言模型生成,代码风格本身暴露类别;能被大语言模型植入后门的问题也有不同特征。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。