17、高级人工智能风险分析与递归自我改进智能探讨

高级人工智能风险分析与递归自我改进智能探讨

1. 高级人工智能风险管理决策分析方法

风险分析的重点通常并非分析本身，而是其为风险管理决策提供信息的潜力。对于高级人工智能（ASI）灾难而言，存在多种风险管理选项，可供各类决策者选用。相关决策者包括积极参与 ASI 监督的政府和非政府组织，以及赞助、开展或支持 ASI 研发的各方。所有这些个人和团体在应对 ASI 风险方面都发挥着作用。理想情况下，ASI 决策分析应能为众多决策提供依据，但实际上，分析师只能专注于部分决策。

风险管理决策的评估主要依据两个因素：选项和目标。选项涵盖了所有可能的风险管理行动，包括不采取任何行动。实际上，可能的行动往往无穷无尽。为使分析具有可操作性，必须选择有限的选项。当手动评估每个选项时，需选择少量选项，且每个选项最好能代表某一重要类别。对于 ASI 研发，重要的选项类别包括放弃开发 ASI（“放弃策略”）和开展 ASI 安全措施研究。

风险管理决策的目标是决策者试图达成的潜在目标或目的。这些目标可以通过目标函数、优化准则、效用函数、社会福利函数、伦理框架或类似的分析范式来表达。这些范式在所有被评估的项目之间具有隐含的可比性（例如，拯救的生命与花费的资金），这使得可以用相对简单的方程计算各种活动类型及其后果的预期价值。其他决策分析研究使用多准则目标函数，旨在确定在一系列目标中表现良好的选项。

ASI 决策分析因将 ASI 本身视为具有内在价值的目标而变得复杂。许多目标函数的哲学基础是，满足有感知生物的偏好或改善其主观体验具有内在价值，而且这里的有感知生物不仅包括人类。如果 ASI 具有感知能力，那么其偏好或体验也应被纳入决策分析。然而，ASI 是否具有感知能力是一个极难回答的问题，涉及