9、通用人工智能安全策略探讨

通用人工智能安全策略探讨

1. 引言

通用人工智能（AGI）的发展引发了诸多关于其价值观与人类价值观一致性的思考。由于AGI价值观和人类价值观在概念基础上的差异可能很晚才会显现，因此探讨如何确保AGI安全并与人类价值观相符显得尤为重要。接下来，我们将详细介绍多种确保AGI安全的策略。

2. 基于进化的策略

2.1 进化不变量

人类道德在很大程度上受进化影响，进化方法试图在AGI上复制这一过程。Hall认为，自我改进的AGI可能会与其他类型的自我改进AGI竞争，那些使AGI处于显著劣势的属性可能会被淘汰。我们可以尝试识别进化不变量或进化稳定策略，使AGI既能在竞争环境中生存，又能善待人类。
- 可能的进化不变量 ：Hall列出了自我利益、长远规划、知识、对进化伦理学的理解和保证诚实等不变量，认为这些可能使AGI更具道德性并在竞争中持续存在。例如，开明的自我利益可能是AGI应具备的特质，因为这为外界提供了控制它的手段。
- 利他与合作的观点 ：Waser认为足够智能的思维会因博弈论等因素变得利他和合作，并提出了理性普遍仁爱原则（RUB），即道德行为是合作并让每个人自由追求自己的目标。Kornai引用Gewirth的通用一致性原则，认为尊重他人自由和福祉的权利是理性主体的逻辑必然结论，若该原则正确，AGI会尊重人类的自由和福祉权利。
- 策略的局限性 ：然而，真正的利他主义或纯粹的以牙还牙策略并非进化上的最佳策略，马基雅维利式的以牙还牙策略可能更有效，即有利时表现出利他和合作，能逃脱惩罚时则自私行事。此外，如果AGI