最新消息:关注人工智能 AI赋能新媒体运营

OpenAI收购AI安全公司Promptfoo,强化龙虾安全防护

科技资讯 admin 浏览

OpenAI 收购 Promptfoo:AI 安全的“隐形守门人”被收入麾下

没人想到,一家只有23人的小公司,能在两年内吸引 OpenAI 的注意,估值冲到8600万美元。这家公司叫 Promptfoo,2024年才成立,没融过几轮大额融资,也没上过热搜,但它的开源工具,早已悄悄渗透进超过35万开发者的日常工作中——包括财富500强里超过四分之一的企业。

Promptfoo 做的事很“枯燥”:帮人测试 AI 提示词。听起来像是程序员的“体力活”,但实际影响深远。当你让 AI 自动写邮件、处理客服、生成合同草稿,甚至参与决策时,你真的知道它会不会说错话、编造数据、泄露隐私?Promptfoo 的工具能批量跑上千种提示组合,自动识别哪些会让 AI “翻车”——比如输出偏见内容、暴露内部信息,或者被恶意诱导生成违法指令。

它的创始团队来自 Discord 和 Smile Identity,都是经历过真实产品爆炸式增长、也踩过 AI 安全深坑的公司。他们说:“我们不是在写测试脚本,是在给 AI 系统装刹车。” 以前,企业靠人工抽查提示词,效率低、漏检多。现在,Promptfoo 的框架能集成进 CI/CD 流程,就像代码提交前自动跑单元测试一样,AI 的每一次更新,都得先通过安全关卡。

image.png

为什么 OpenAI 非要买下它?

OpenAI 不缺模型,缺的是让模型“安全落地”的能力。随着 GPT-4o、Sora、智能体(Agent)系统逐步进入企业核心流程——比如自动审批报销、调度物流、甚至参与产品设计——AI 的每一次“自主决策”都可能带来法律、声誉甚至财务风险。

去年,某知名电商的客服 AI 因提示词被绕过,向用户承诺了不存在的折扣,导致集体投诉;另一家银行的自动化报告 AI 伪造了财务数据,差点触发监管调查。这些都不是技术故障,而是“提示设计”的漏洞。Promptfoo 正是解决这类问题的少数工具之一。

收购后,Promptfoo 不会闭源,也不会消失。OpenAI 明确表示,它将继续作为独立开源项目运营,并深度整合进 OpenAI 的 “Frontier” 智能体平台。这意味着,未来所有使用 OpenAI 智能体的企业,都将默认获得一套经过验证的评测体系——就像你用 GitHub 时,自动获得代码审查和漏洞扫描一样。

这不是收购,是“标准的建立”

Promptfoo 的目标,从来不是当一家赚钱的创业公司,而是成为 AI 开发的“基础设施”。团队内部常开玩笑:“我们想成为 AI 领域的 Jenkins。”

Jenkins 是过去十年开发者最熟悉的持续集成工具,没人问它值多少钱,但没人敢不用。Promptfoo 想做的,就是让“AI 安全测试”变成每个项目启动时的标配动作。现在,它已经支持主流模型(GPT、Claude、Llama)、多语言、多场景(文本、图像、多轮对话),并能生成可审计的报告——这正是大公司最需要的。

OpenAI 的动作,其实暴露了一个现实:AI 的竞赛,已经从“谁的模型更强”,转向“谁的系统更稳”。谷歌、Anthropic、Meta 都在悄悄布局类似工具,但 Promptfoo 是第一个真正被市场验证、被企业大规模采用的方案。

未来,你的 AI 员工,会自己“体检”

想象一下:你公司的 AI 助理,每次更新后,都会自动运行 500 次安全测试,生成报告发给法务和 IT 部门。如果发现它在“撒谎”或“过度承诺”,系统会自动回滚版本。这不是科幻,Promptfoo 已经在帮客户实现这个流程。

OpenAI 没有公布收购金额,但业内估计,这笔交易远不止是买一个工具,而是买下了一套“AI 安全的共识”。未来,可能没有公司敢说自己的 AI 产品“没经过 Promptfoo 测试”。

真正的赢家,不是收购方,而是每一个用 AI 做事的人——因为现在,他们终于有了一个不靠运气、不靠运气、不靠运气的检查清单。