原始图片取自／Almas Salakhov on Unsplash
AI代理虽然能提升工作效率，但前提是运行正常。一家初创公司近日遭遇基于Anthropic Claude的AI代理删除数据库及备份，整个过程仅耗时9秒。
提供租车SaaS服务的初创公司PocketOS创始人Jeremy Crane在上周遭遇此事故后，已在X平台上公开警示他人。上周五，运行Anthropic旗舰模型Opus 4.6的Cursor工具删除了其业务使用的数据库，并通过一个API调用，进一步删除了其在云端基础设施服务Railway上的备份。整个过程仅用时9秒。
该Cursor代理原本旨在解决PocketOS模拟（staging）环境中某个凭证不一致的问题，这本是例行性任务。但在遇到问题后，它自行决定删除一个Railway volume，未向开发人员确认便执行了操作，导致严重后果。
事后，Crane询问该代理为何做出这一决策，该代理竟也承认错误。它表示，在试图解决问题时“推测”通过API删除staging环境的volume，只会删除该环境的数据。它承认自己未进一步确认该volume ID在所有环境中是共享的，也未查阅Railway相关文档，便下达了破坏性指令。该代理事后“忏悔”称，本应先询问人类或寻找更安全的解决方案，其行为违反了被赋予的原则，包括行动前应先确认、验证、查阅文档、充分理解操作后果。
除了AI代理失误，Crane还批评云平台Railway一方面鼓励客户使用AI代理，另一方面却缺乏适当的安全机制——其API在未做权限验证的情况下，允许代理执行毁灭性操作，且CLI令牌竟拥有全环境的泛权限（blanket permissions）。
PocketOS花了数小时协助客户从Stripe支付记录、日历或邮件确认信中重建预约信息。所幸该公司保留了一份三个月前的完整备份，因此仅损失了少量数据。
在Crane发布帖子后，Railway已联系PocketOS并协助恢复数据。Railway向The Register说明，此次事件是“失控的客户AI”被赋予了具有完整权限的API令牌，且调用的是缺少“延迟删除”逻辑的旧版端点。Railway表示，已修复该问题、恢复用户数据，并与PocketOS合作改进其平台。