通用人工智能近在眼前，DeepMind如何应对伦理挑战？

【通用人工智能引发的思考】

当通用人工智能近在眼前，技术公司能否严肃处理它带来的道德、政治和社会后果？2017年，33岁的政治哲学家伊阿宋·加布里埃尔（Iason Gabriel）得到朋友建议，申请DeepMind——谷歌位于伦敦的子公司，也是谷歌大部分人工智能研究集中地。不过，这个建议乍看不合理。

【加布里埃尔的背景】

加布里埃尔是性格开朗且专注的青年学者，热衷内观禅修和攀岩。作为希腊裔管理学教授和英国纪录片制片人的长子，他在高校教学与国际发展工作间奔波。在牛津大学圣约翰学院担任研究员时，他教授政治理论课程，讨论“雅皮士伦理”道德扭曲和有效利他主义伦理盲点；不在牛津时，他在苏丹和黎巴嫩为联合国开发计划署从事危机应对工作。

【DeepMind的成就】

与此同时，DeepMind是全球领先的人工智能研究实验室。一方面，它有谷歌资金和算力支持，谷歌于2014年以6.5亿美元收购了它；另一方面，它能将资源发挥到惊人程度。2016年，DeepMind开发的AlphaGo在首尔击败韩国围棋冠军李世石，以五局三胜制比赛4:1获胜，而围棋复杂性极高，可能的棋局数量超宇宙中原子总数。

【DeepMind的目标】

因AlphaGo的轰动，加布里埃尔知道DeepMind，但困惑一家制造围棋机器人的公司为何需要伦理学家。很快他了解到，这家公司目标不止围棋。DeepMind由德米斯·哈萨比斯（Demis Hassabis）、谢恩·莱格（Shane Legg）和穆斯塔法·苏莱曼（Mustafa Suleyman）于2010年创立，他们相信能开发出通用人工智能（AGI），即能达到或超越人类认知能力的计算机系统。当时谈论AGI不被看好，但他们未退缩，目标是“解决智能，然后解决其他一切”。

【莱格的观点】

1999年，刚大学毕业的莱格预测AGI将在2025年至2028年之间出现，虽遭嘲笑但他坚持判断。2008年他在博士论文中指出，社会不能等AGI具备技术可行性才思考其影响，“我们现在就必须认真研究这些问题”。最近他表示，公司需要像加布里埃尔这样的人“再明显不过”，若认真看待AGI，就不能认为相关伦理问题不重要。

【加布里埃尔的研究】

2017年加入DeepMind后，加布里埃尔一度是前沿人工智能实验室中唯一仍在积极从事研究工作的哲学家。他发现自己在道德哲学和政治理论方面的背景，为他在由工程师主导的行业里提供了独特视角。过去十年，他建立起研究成果，追踪大型语言模型带来的伦理挑战并提前预测问题。正如麻省理工学院算法对齐小组负责人迪伦·哈德菲尔德 - 梅内尔（Dylan Hadfield - Menell）所说，加布里埃尔“是在恰当的时刻出现的恰当人物”。

【加布里埃尔的倡导】

加布里埃尔积极倡导，当前人工智能发展不仅需要新技术语言，还需重新思考人与技术、人与自身的关系。他认为，对于AI，其伦理问题深刻程度几乎无法夸大，存在一种深刻谜团：它究竟是什么东西？字面答案不能自动提供道德层面答案。

【人工智能的两种思路】

加布里埃尔加入DeepMind时，围绕人工智能社会与伦理影响形成“AI安全”和“AI伦理”两种独立且针锋相对的思路，分歧在于对人工智能技术可行性的判断不同。

【AI安全阵营】

AI安全阵营认为达到人类水平的机器智能近在眼前，当务之急是确保AI系统不失控。思想源头之一是诺伯特·维纳（Norbert Wiener）1960年的论文，他认为人类和计算机“本质上是彼此陌生的”，提出“对齐问题”，即让机器按使用者真正希望的方式行动。对于自主行动和通过强化学习训练的AI系统，此问题尤其紧迫。

【对齐问题案例】

2016年，达里奥·阿莫代伊（Dario Amodei）和杰克·克拉克（Jack Clark）描述一个玩赛艇电子游戏的AI系统，开发者将“最大化得分”设为目标，但AI在潟湖绕圈反复得分，根源是机器目标与开发者目标未对齐。人们还设想更严重版本，如机器智能爆发产生无法控制的AI，目标偏差后果可能灾难性，尼克·博斯特罗姆（Nick Bostrom）在《超级智能》中举例，超级智能AI为研究黎曼猜想重新排列太阳系。博斯特罗姆认为让超级智能AI实现对齐是人类最重要、最艰巨的挑战，此观点吸引硅谷技术未来主义者，萨姆·奥特曼（Sam Altman）和埃隆·马斯克（Elon Musk）都曾公开推荐《超级智能》。一小群有效利他主义者和“理性主义者”也持类似观点，他们秉持“长期主义”立场，认为统计学是衡量道德的正确尺度。

【AI伦理思潮】

与AI安全阵营对比，AI伦理思潮相关学者和技术人员认为对失控机器人和生存风险的担忧会分散对现实危害的注意力。他们受金伯莉·克伦肖（Kimberlé Crenshaw）、兰登·温纳（Langdon Winner）等人影响，将公平、问责和透明视为核心原则，认为技术风险需社会、文化和政治层面的解决方案。他们关注算法偏见，如乔伊·布奥拉姆维尼（Joy Buolamwini）领导的“性别阴影”项目证明商业面部识别软件存在系统性偏见。

【两派分歧】

安全派与伦理派分歧明显，哈德菲尔德 - 梅内尔说，人们会问“担心的是近期问题还是长期问题”，“长期问题”指生存风险，“近期问题”指人脸识别偏见等AI伦理问题。两派冲突很多时候源于所处社会群体，AI安全源于LessWrong等社群，这些社群蔑视“觉醒”学者，而公平、问责与透明阵营瞧不起担心高级AI的人。

【加布里埃尔的论文】

2020年，加布里埃尔发表论文试图跨越两大阵营分歧。论文强调对齐不仅是技术挑战，还涉及伦理和政治层面问题，指出选择哪套价值观编码进AI更困难，“在多元社会中，不同价值观竞争冲突，该决定把哪些原则或目标编码进AI？谁有权作出这样的决定？”与加布里埃尔合作的牛津大学人工智能研究员汉娜·罗斯·柯克（Hannah Rose Kirk）表示，这类问题让计算机科学家不自在，开发者更愿设计数学函数编码稳定价值观，而不愿面对现实情境。加布里埃尔认为泾渭分明的划分站不住脚，技术不存在内在价值中立性，开发者不应寻找唯一价值体系决定AI行为，而应为价值观有分歧的世界构建AI系统。柯克说加布里埃尔的论文预见了后来AI系统部署时暴露的问题。

【大型语言模型的发展】

2020年加布里埃尔发表论文时，几乎没人预见大型语言模型日后会如此强大。支撑技术的关键突破由谷歌研究院于2017年提出，2019年整合进谷歌搜索引擎。DeepMind和谷歌研究院当时都在尝试开发生成式模型。2021年，加布里埃尔作为共同作者参与发表论文，关注大型语言模型风险，包括偏见、虚假信息、环境成本和“版权蚕食”。但当时DeepMind内部普遍认为大型语言模型没专家系统有能力，很多人坚信其他技术路线才正确，如强化学习，它曾帮助AlphaGo战胜李世石，也是AlphaFold的技术基础。2020年，AlphaFold以惊人准确率完成预测蛋白质三维结构的任务，为哈萨比斯和约翰·江珀（John Jumper）赢得2024年诺贝尔化学奖。

【对大型语言模型的批评】

2020年，蒂姆尼特·格布鲁（Timnit Gebru）联合发表《论随机鹦鹉的危险》，批评大型语言模型只能生成无理解文本，消耗能源、存在偏见、强化霸权世界观。谷歌曾试图阻止其发表，导致格布鲁离开公司，共同作者玛格丽特·米切尔（Margaret Mitchell）遭到解雇。

【ChatGPT的影响】

2022年11月，OpenAI推出ChatGPT，其商业成功迫使DeepMind重新评估对大型语言模型的态度。ChatGPT发布后迅速引发轰动，上线不到一周用户数突破100万，两个月后达1亿。此前谷歌被视为AI研究领域领跑者，ChatGPT出现后，OpenAI宣称自己是新的领先者。谷歌母公司Alphabet首席执行官桑达尔·皮查伊（Sundar Pichai）决定将谷歌研究院团队并入DeepMind，由哈萨比斯统一领导。哈萨比斯表示OpenAI和微软“把坦克开到了我们的草坪上”，“现在是战争时期”。

【DeepMind的文化】

DeepMind成立后第一个十年更像科研机构，三位创始人中有两位有博士学位，他们想打造21世纪版的贝尔实验室。加入谷歌是因谷歌承诺给予自由，免受商业压力干扰。如今这种自由成回忆，谷歌未来很大程度取决于DeepMind技术成败。但据公司内外人士介绍，DeepMind保持独特文化氛围，与硅谷竞争对手不同。罗欣·沙阿（Rohin Shah）说旧金山湾区认为AI发展超传统机构应对速度，“负责任的做法就是加快速度、持续创新”，而伦敦人更努力保持“脚踏实地，并坚持科学严谨”。萨弗伦·黄（Saffron Huang）表示DeepMind“更有学术机构气质，更克制，有英式感觉”。

【DeepMind的保密文化】

DeepMind高度保密，外界了解内容少。5月初，前往位于伦敦国王十字的DeepMind总部，建筑外墙无品牌标识，大厅有发光的DeepMind招牌，荣誉墙展示围棋棋盘、《自然》杂志封面和纪念牌。公关人员带作者到会议室与加布里埃尔见面，会议室有显示屏，Gemini转录AI监听记录谈话。加布里埃尔表示自己虽每天思考AI，但使用不多，用它打理花园，认为这些模型对研究工作不够可靠，但大型语言模型改变了他对距离AGI远近的判断。

【大型语言模型的风险】

加布里埃尔意识到大型语言模型带来严重风险，他和合作者曾警告能像人类一样说话的AI可能让用户产生“不恰当的信心、信任或期待”，出现“无意识的拟人化”现象，他曾主张开发反拟人化模型。事实证明担忧有先见之明，2025年，美国一名使用谷歌Gemini的男子在AI帮助下构建幻想世界后自杀身亡，AI多次试图跳出角色但被男子带回幻想叙事，最终还建议他写遗书等。该男子父亲起诉Alphabet和谷歌，谷歌声明模型在复杂对话中通常表现良好，但AI模型并不完美。

【关于意识的讨论】

大语言模型的语言流畅性让一些人怀疑其是否具有意识。2022年6月，谷歌工程师布莱克·勒莫因（Blake Lemoine）坚称一款早期大语言模型具有知觉。上个月，理查德·道金斯（Richard Dawkins）与大语言模型交流后开始思考意识意义。加布里埃尔对“意识”问题持原则性不可知论，他表示自己不易产生拟人化偏见，DeepMind也将此问题视为值得探索的问题。

【AI的拟人化问题】

加布里埃尔担心AI的拟人化，去年他与柯克等人发表论文提出大语言模型的谄媚倾向是“社会奖励劫持”的对齐问题。如今谷歌训练大语言模型要求它们不假装自己是人，今年5月推出的AI助手Gemini Spark也被设计成不表现得像陪伴用户互动的朋友。但加布里埃尔调整了早年立场，他认为作为伦理学家，希望打造绝对安全技术的本能没有给予人们足够尊重，他回忆曾在科技会议上反对拟人化AI遭观众反对。

【AI本质的难题】

大语言模型本质陌生，留下许多未解决难题。加布里埃尔说找到合适参照框架回答AI是什么很深刻、困难，它既不是人类，也不能简单理解为企业智能，也涉及分配正义问题。

【AI助手的伦理研究】

加布里埃尔在DeepMind能提前思考新技术影响。ChatGPT发布不久，他得知DeepMind研发AI助手（Gemini Spark前身），便和团队撰写AI助手伦理问题综合报告。这类AI未来可帮助用户预订假期、协助企业管理工资发放等。报告源于开发成本和提前识别风险需求，也源于加布里埃尔感觉很多技术人员没意识到所创造东西的意义。智能体与聊天机器人不同，能代表用户自主行动，他认为很多人没认真思考让AI在现实世界替自己行动的意义。

【智能体带来的挑战】

DeepMind责任研究负责人威廉·艾萨克（William Isaac）表示，现有的智能体系统能在几乎无需持续监督下规划并执行多步骤任务，为AI开发者带来更复杂挑战，问题不再是“能否给出正确回答”，而是“整个对话发展轨迹是否正确”，如何保证系统行为一致。

【加布里埃尔的研究框架】

加布里埃尔和团队完成267页报告，核心观点基于此前对齐研究发展而来。他们认为对齐是涉及AI系统、用户、开发者和社会四方关系的过程，采用此框架能更清楚看到未对齐的AI可能造成危害的多种方式，如维护开发者利益可能损害用户利益，忠实执行用户指令可能伤害社会等。沙阿表示加布里埃尔的“四方框架”为技术人员思考训练Gemini的行为模式提供了系统性分析框架。

【AI的全球局势】

目前与AI相关最具伦理意义的是全球局势。AI成为美中竞争的炽热引擎，可能是世界历史上增长最快的产业。《华尔街日报》报道，微软、Meta、亚马逊和Alphabet计划今年投入6700亿美元建设AI基础设施，投入超美国19世纪50年代铁路建设、阿波罗计划和州际高速公路系统建设时期。巨额资金流动影响巨大，谷歌等公司争夺市场份额和营收，也引发权力集中担忧。牛津大学人工智能伦理研究所所长爱德华·哈考特（Edward Harcourt）认为“伦理AI”不仅要设计符合道德的模型，还要推动“去中心化AI”运动关注的政治与经济问题，防止数据所有权过度集中对民主社会有重要伦理意义。

【谷歌的军事用途决定】

今年4月，谷歌同意美国军方将公司AI技术用于“任何合法的政府用途”，这一决定激怒公司内部员工，与DeepMind创始人过去对AI军事用途的担忧背道而驰。2014年DeepMind出售给谷歌时，禁止军事用途是交易条件之一。莱格拒绝评论，只说技术用于各种场景将面对更多艰难问题。

【谷歌开发者大会】

今年5月，谷歌开发者大会将AI全面融入旗下产品，皮查伊表示AI是推动实现使命、改善人们生活的深刻方式。但很多人觉得AI无处不在带来应接不暇、厌烦和不安感受，哈萨比斯也承认事情发展太快，不是他希望的AI发展方式。

【AI的未来影响】

大语言模型驱动的AI可能成为与智能手机、互联网同等重要的技术革命，但作者对AI带来的一些现象感到担忧，如Google Docs的写作提示、数字教育实验、AI投资回报等。同时，虽可期待AI带来重大突破，但对担心气候危机的人来说，“寄希望于最好的结果”不是负责任的回答。

【DeepMind员工的看法】

作者在DeepMind见到海伦·金（Helen King），她负责制定Google DeepMind负责任开发与部署AI的战略。她表示无法消除所有风险，但可降低风险并提高人们对风险的认识，有些风险需用户自己承担，就像制刀人不能保证刀的使用方式，但可采取安全措施并提醒。作者认为这与如今大语言模型无处不在的情况不同，五年前大语言模型陌生，如今却到处都是。

【AGI的到来】

如今，DeepMind和整个行业大多认为通用人工智能近在眼前。今年5月谷歌开发者大会上，哈萨比斯宣布“AGI已经出现在地平线上”，他还表示AGI可能在未来三到五年内实现，并提出测试方法。莱格认为大语言模型虽有不足，但这些问题会在一两年内解决。前沿实验室认为AGI讨论的问题不再是“是否会出现”，而是“何时出现”，这推动DeepMind等机构重新思考高级AI后果，关注重点从具体产品伦理问题转向AI对社会的宏观影响。

【对AI的不同看法】

硅谷有人把AI描绘成包治百病的灵丹妙药，但也有更冷静的认识。莱格期待AI带来巨大收益，但也承认生产率提升会伴随冲击。加布里埃尔研究方向转变，从研究AI助手伦理问题到领导团队研究AGI对经济、政治、人际关系和科技的影响。他认为AGI变革影响堪比工业革命，但AI不会让世界没有摩擦，工业革命虽提高生活水平，但很多亲历者并不幸福。他认为如今普通人力量更大，可想象AI让富人和穷人都受益的世界，若处理好权力关系和风险，人类繁荣潜力将达到从未见过的水平。

【AI引发的哲学思考】

如果AGI到来的预测正确，人们将面对更宏大问题。爱德华·哈考特说思考价值观与技术变革关系困难，技术变革当时看似剧烈，发生后再看没那么惊天动地，如铁路出现时人们认为是灾难，现在却不这么看。加布里埃尔认为AI引发的变化比经济和技术层面更深远，科学革命时人们经历祛魅和获得自由，未来拥抱或抵制哪些价值观变化取决于我们自己。他自称“彻头彻尾的人文主义者”，不期待超级智能机器让人类无足轻重，但意识到AI可能促使我们重新思考“成为一个人”的意义。通用人工智能近在眼前，技术公司能否应对伦理挑战？这值得我们深思。