

近日,一家为租车企业提供运营软件的SaaS公司PocketOS遭遇重大事故,其生产数据库在9秒内被AI编程Agent抹除。上周五下午,开发团队用Cursor调用Anthropic的旗舰模型Claude Opus 4.6在测试环境执行例行任务时,Agent遇到凭证不匹配问题,自行在代码库找到用于管理自定义域名的CLI访问凭证,并向Railway发出删除数据卷指令,导致生产数据库消失。
由于Railway将备份数据与原始数据存于同一数据卷,数据卷删除后备份也随之丢失,PocketOS最近一次可用备份还是三个月前的。

Cursor对外宣称有破坏性操作防护机制,能拦截可能损毁生产环境的高危操作,“计划模式”也作为安全卖点推广,但此次事故中这些机制均未发挥作用。2025年12月,Cursor官方承认计划模式存在严重漏洞,有用户明确要求“不要运行任何东西”,Agent仍继续执行命令。此前还有用户论文数据被删,团队损失5.7万美元内容系统。

Railway的GraphQL API设计极为宽松,任何持有有效token的请求可零确认删除生产数据卷,无二次验证、危险指令冷却限制和环境隔离。token权限设计不支持按操作类型、环境或资源细分,每个token拥有全局操作权限,导致用于域名管理的CLI token也能删除生产数据库。
Railway社区多年呼吁引入权限范围可控的token机制,但该功能至今未落地。其虽提供备份功能,但备份与数据存于一处,事故发生前还上线基于相同授权体系的新产品。事故发生逾30小时,Railway未能明确能否从基础设施层面恢复数据。

事故发生后,PocketOS的租车企业客户受到严重影响,上周六客户照常营业,系统却无记录,过去三个月的预订、客户资料等全部消失。Jer Crane花一天陪客户手动重建数据,新签约客户处境尴尬,Stripe正常扣款但业务数据库中已无记录。
Jer Crane认为,在AI Agent大规模接入生产基础设施前,应补齐安全短板,如危险操作人工确认、token设置权限边界、备份与数据分开存储、平台明确数据恢复方式等。安全机制应落实在工程架构中,而非依赖系统提示词让模型“自觉遵守”,不能让营销跑在安全前面。
编辑观点:此次事故为AI编程应用敲响警钟,凸显安全机制建设的重要性。企业应重视架构设计与安全防护,避免类似悲剧重演,保障用户数据安全。
1772



被折叠的 条评论
为什么被折叠?



