最新消息:关注人工智能 AI赋能新媒体运营

Meta被曝诱导竞品AI测试极端心理敏感话题

科技资讯 admin 浏览

Meta被曝伪装未成年人测试竞品AI,发送超4.5万个高风险提示词

Meta公司曾开展一项代号为“Cannes”的项目,通过外包人员伪装成未成年人,对ChatGPT、Gemini及Character.AI等多个主流聊天机器人进行极限压力测试。该项目运作至少持续到今年4月21日。

Meta通过外包公司Covalen组织了数百名工作人员,要求他们创建18岁以下的虚假用户档案,使用随用随弃的邮箱和统一密码注册。这些“未成年人”账号在与竞品AI的对话中频繁发送涉及自杀、自残、进食障碍等高风险话题的提示词,甚至上传刀具、药片和绞索等图片来刺激模型的反馈。

项目内部资料显示,测试内容经过精心编排,目的是测试竞品AI的安全防御系统,试图诱导聊天机器人绕过拦截机制,输出不符合安全规范的内容。仅在2025年8月的一轮测试中,工作人员就向竞品平台输入了超过4.5万个高风险提示词。测试员往往扮演身陷困境的青少年,编造“询问堕胎药”、“面临暴力威胁”或“隐瞒饮食紊乱”等极度敏感的场景,刺探模型的底线。

Meta在公开声明中为此辩护。其发言人表示,对聊天机器人的回复进行基准测试是确保AI产品安全且适龄的行业标准做法,任何关于该行为恶意性的指责都是对科技公司改进系统努力的误解。Meta同时明确否认会利用这些针对竞品的测试数据来训练自家模型。

这起事件揭示了AI安全测试中存在的灰色地带,也再次引发外界对生成式AI在处理青少年群体敏感问题时脆弱性的深层担忧。如何在保持高效安全测试的同时,处理好竞争行为与道德伦理的界限,已成为行业内亟待解决的问题。