4、通用人工智能风险应对策略探讨

通用人工智能风险应对策略探讨

1. 引言

灾难性通用人工智能（AGI）风险的概念并非新鲜事物，早期该领域的思想家就已表达过相关担忧。针对这一问题，也出现了众多应对提议。这些提议既不全面也不相互排斥，实现理想结果的最佳方式可能是同时推进多个提议。接下来我们将对一些应对AGI风险的提议进行探讨。

2. 超智能时代的新动态

近年来，灾难性AGI风险这一话题在学术界和大众媒体中都引起了广泛关注，这在很大程度上得益于《超级智能》一书的出版。众多AI研究人员签署了一封公开信，呼吁开展更多研究，确保AI系统不仅具备能力，还能保持稳健和有益。公开信中列出了一系列建议的研究方向，其中包括专门应对AGI风险的方向。同时，埃隆·马斯克捐赠了1000万美元，用于推动安全有益的AI和AGI研究。

然而，也有一些知名研究人员认为AGI风险被过度炒作，担心公众在现阶段对此过于重视。例如，安德鲁·吴教授和Facebook AI主管扬·勒昆强调，当前技术距离AGI还有很长的路要走。不过，即使是较为怀疑的研究人员也倾向于认为，这个问题最终还是需要加以考虑。

3. 社会层面的应对提议

应对AGI风险的提议大致可分为三类：社会行动提议、对AGI行为施加外部约束的设计提议，以及对AGI行为进行内部约束的设计建议。下面我们将简要介绍社会层面的提议，主要包括不作为、将AGI融入社会、规范研究、与机器融合以及放弃AGI研究。

3.1 不作为

3.1.1 AI距离我们太过遥远，不值得关注

有人认为，虽然从理论上讲AGI是可能的，但近期内不太可能出现。这种观点通常源于这样一种信念：尽管狭义AI取得