OpenAI 发布自动化红队测试模型 GPT-Red,提示注入失败率降至 0.05%
AI 安全领域迎来重要进展。OpenAI 近日推出自动化红队测试模型 GPT-Red,通过规模化自博弈训练,将模型在直接提示注入攻击中的失败率压低至 0.05%,为 AI 系统的自我安全迭代提供了新思路。
当前 AI 系统已通过浏览器、本地文件及各类 API 深度接入现实世界,传统安全边界日益模糊。人工红队测试虽有效,但难以匹配模型能力的快速增长,也无法产生充足的对抗数据用于防御优化。GPT-Red 的设计目标正是解决这一瓶颈——不仅能在部署前定位漏洞,更能实时生成大规模对抗样本,推动模型在训练阶段即完成防御升级。
该模型采用自博弈强化学习策略。训练过程中,GPT-Red 与多样化防御方模型高频对抗,通过提示词注入、逻辑诱导等手段寻找系统破绽。这种"互搏"机制促使双方持续进化:防御方不断修正策略,攻击方则愈发精准。测试数据显示,GPT-Red 攻击能力已显著超越人类红队成员,特定场景下人类攻击成功率仅 13%,而 GPT-Red 达到 84%。
OpenAI 对 GPT-Red 进行了多轮压力测试。在一项针对自主控制自动售货机 AI 智能体的实验中,该模型成功模拟了恶意修改商品价格、窃取订单等操作,展现出对复杂智能体系统的渗透能力。
目前 GPT-Red 已融入生产模型训练流程。基于此安全框架的 GPT-5.6Sol 版本在提示注入防御方面表现出强鲁棒性,且未牺牲通用能力——既未出现盲目拒绝合法请求的情况,也未降低任务执行效率。
OpenAI 表示,GPT-Red 验证了 AI 安全"飞轮效应"的可行性:以先进 AI 构建更安全的未来系统。随着计算规模与数据多样性持续提升,该自动化安全测试框架或将成为模型开发的标准配置。