16、人工智能超级智能研发过程中的风险分析与风险管理

人工智能超级智能研发过程中的风险分析与风险管理

1. 引言

全球灾难性风险（GCRs）值得特别关注，应对这些风险的主要问题包括评估灾难性事件发生的概率，以及在有限的风险降低资源和资源使用权衡的情况下，评估潜在风险降低措施的有效性和权衡。

某些类型的人工智能（AI）被认为可能是全球灾难性风险的一个重要因素，其中特别受关注的是人工智能超级智能（ASI），它在广泛领域的智能远超人类。ASI既可能解决社会诸多问题，也可能导致如人类灭绝这样的灾难，这取决于其设计方式。

目前存在的AI并非超级智能，但未来有可能研发出ASI。为避免ASI带来的灾难，考虑其长期可能性十分重要。通过仔细分析，有可能识别出ASI研发走向危险方向的指标，以及使ASI研发更安全的风险管理措施。然而，长期技术预测困难，使得ASI风险难以刻画和管理，另外，ASI研发可能在不被察觉的情况下进行，以及需要权衡其风险与潜在益处，也带来了额外挑战。

ASI风险可通过两种方式应对：一是在ASI本身构建安全机制，如进行ASI“友好性”研究；二是管理人类研发ASI的过程，以促进安全实践。本文聚焦于人类研发过程，因其与其他新兴技术的研发过程有相似之处。

ASI风险分析的最终目标是帮助人们更好地决策如何管理ASI风险。正式的风险方法能让人们考虑更多更好的信息，减少决策中的认知偏差。大量关于风险认知的文献表明，人们对风险的认知往往不准确，例如对“险些发生”灾难的不同认知会影响对未来此类灾难风险的感知，这结合ASI的高风险，凸显了正式ASI风险分析的重要价值。

2. 关键ASI研发风险与决策问题

2.1 风险分析

风险分析中重要的问题涉及