OpenAI安全委员会主席深度剖析AI安全：模型安全与发展的挑战与机遇-优快云博客

AI进入新阶段，安全挑战凸显

过去几年，关于AI的讨论多集中在模型能力增长本身，如更强的推理、更长的上下文、更像人的交互方式，以及越来越自主的AI智能体。但OpenAI董事会成员、卡内基梅隆大学机器学习系主任Zico Kolter认为，真正值得关注的是AI系统正进入“自我生成、自我强化、自我扩展”的新阶段，而整个行业对这一变化的意义缺乏足够清晰的认识。

OpenAI模型发布审查机制

Zico Kolter于2024年8月加入OpenAI董事会，并担任安全与安全性委员会（SSC）主席。该委员会负责监督模型开发过程中的安全问题及整体治理机制。OpenAI内部有多个安全团队，如Safety Systems Team、Preparedness Team、Alignment Teams、Model Policy Teams等。SSC对这些团队进行治理层面的监督，包括与团队开会、了解工作情况、询问模型安全问题、了解模型发布准备情况等。在重大模型发布前，SSC会组织审查会议，基于团队提交的材料判断模型是否符合OpenAI的政策和标准，必要时可要求推迟发布。

AI安全治理进展与挑战

从行业视角看，AI安全治理和安全性的发展速度与模型能力提升相比，虽取得了成果，但模型能力也在高速提升。模型的“控制面”在迅速扩张，安全能力的提升能否跟上AI部署规模扩张的速度是核心挑战。模型不会因为变大就自动更安全，需要专门训练安全能力，建立分层安全体系。

AI风险分类与应对

Zico Kolter将AI风险大致分为四类：模型本身犯错带来的风险、“有害使用”风险、社会层面和心理层面风险、“失控场景”风险。在谈论AI风险和安全时，需以更整体性的方式推进工作，不能只关注某一个问题。

“加速派”与“末日派”之争

过去几年，“加速派”和“末日派”争论激烈。Zico Kolter不喜欢这些标签，认为它们掩盖了现实的复杂性。大多数研究者认为AI有潜力也有风险，应严肃对待安全问题。他愿意与不同观点的人交流，认为大家认真对待AI风险是好事。

全球AI安全体系建设

很多国家已开始建立AI安全体系，如英国、新加坡、美国等。虽然议题会受政治环境影响，但研究工作仍在持续推进。

从学术研究到产业实践

Zico Kolter本科学习哲学和计算机科学双专业，后进入机器学习领域。他早期接触OpenAI，见证了其发展。他认为CMU形成推动AI领域前进的氛围，源于“愿意冒险”的特质。在新时代，学术界应重新定义自身角色，在安全研究、机器人、科学研究等方向发挥重要作用。他还联合创办了AI安全公司Gray Swan，为大型实验室和企业客户提供安全服务。

AI Security与AI for Security

Zico Kolter区分了AI Security和AI for Security。AI for Security关注如何利用AI增强或恶化传统网络安全体系，而他和Gray Swan的工作属于AI Security，即关注AI系统本身的安全性，核心是模型在最坏环境下的鲁棒性。

现代AI防御与攻击体系

现代AI防御体系像“瑞士奶酪模型”，包括输入分类器、工具调用结果分类检查、模型安全训练、输出分类器、运营安全等多个层面。攻击方最先进的方法是通过海量查询摸清安全分类器边界，攻击多层系统，但攻击成本较高。

AI智能体安全问题

AI智能体会极大扩大攻击面，提示注入是智能体时代的全新安全漏洞。设计智能体系统时，需考虑传统网络安全问题，包括智能体的权限、数据访问和凭证等。虽然智能体已在生产环境中，但需有合适的安全防护机制，进行风险 - 收益权衡。

机制可解释性与AI未来发展

机制可解释性指研究模型内部决策机制。Zico Kolter过去对可解释性研究持怀疑态度，但认为编码智能体适合做相关研究，借助大规模智能体研究，机制可解释性可能取得规模化突破。他认为两年后AI行业会更安全，但需确保安全能力增长跟上模型能力扩张速度。他还分析了AI系统范式的变化，认为强化学习是关键，未来可能出现新的范式突破。对于博士生，他建议做让自己兴奋的研究。