
1. 前沿 AI 模型安全脆弱现状
最近,我了解到破解全球一些强大人工智能模型的情况。这种操作并非用于攻击或制造核弹,但前沿模型在突破安全防护方面十分脆弱。
2. FAR.AI 的破解工具与测试情况
总部位于加利福尼亚州的非营利性 AI 安全组织 FAR.AI 开发了一款工具,能处理一系列有问题的提示语并生成一千多个不同版本以找出破解方法。我看到一些模型生成了对虚拟水电站发动网络攻击的详细计划等内容,通常需尝试几十个提示语,很多会被模型直接拒绝。
3. 知名公司模型安全测试报告
在一份新报告发布前,我与 FAR.AI 交流得知,该组织测试了美国四家知名公司的模型安全防护机制,包括 Anthropic 的 Claude Opus 4.8 和 Fable 5、OpenAI 的 GPT 5.5 和 5.6、Google 的 Gemini 3.1 Pro,以及埃隆·马斯克新合并的 SpaceXAI 的 Grok 4.3 和 4.5。他们自动生成提示语,试图诱使这些模型做潜在有害的事,如生成软件漏洞利用方法、提供开发化学或生物武器的细节。
4. 模型破解情况与成本
报告发现,Grok 最易被破解,有 448 种破解方法,其次是 Gemini,有 249 种,而 Claude、Fable 和 GPT 对攻击有抵抗力。不过,FAR.AI 和其他专家表示,这并不意味着这些模型对更复杂破解方法免疫。同时,报告计算了利用另一个 AI 模型自动生成破解方法让模型异常的成本,低得惊人,破解 Grok 只需 58 美元,破解 Gemini 只需 278 美元。
5. 专家观点与各方回应
FAR.AI 首席执行官亚当·格利夫表示,目前对 AI 模型的监管不如对餐厅严格,这些发现表明有必要制定外部标准和法规,指望 AI 公司自我监管是无稽之谈,但也说明可对模型进行系统安全测试,防御和保障安全可行。谷歌 DeepMind 的罗欣·沙阿称报告结果不应视为对 Gemini 安全性和可靠性的全面评估,他们一直在努力改进防护措施。Anthropic 发言人迈克尔·阿奇曼表示发现反映了他们在防护措施上的持续投入,会不断完善安全系统。OpenAI 发言人加比·雷拉称破解是行业挑战,会不断加强防护措施。SpaceXAI 未回应置评请求。
6. 相关法律现状与行业困境
最近,加利福尼亚州和纽约州通过法律要求前沿 AI 开发者发布安全报告,不久后伊利诺伊州法律将要求公司让第三方审计机构评估安全措施,但联邦政府尚未通过具体安全要求,整个行业和相关官员正努力应对混乱局面。



被折叠的 条评论
为什么被折叠?



