8、通用人工智能安全实现路径探讨

通用人工智能安全实现路径探讨

1. 神谕 AI 的权威化与局限性

在人工智能的应用场景中，神谕 AI 虽仅提供建议，但人类可能因时间、能力等因素难以验证其建议，这使得神谕 AI 可能成为权威。例如，医疗领域的 APACHE 专家系统，随着医疗界对其信任增加，医生可能自动遵循其建议，它甚至可能主导临床决策。现代官僚常按既定程序行事以避免担责，而完全遵循通用人工智能系统的建议更是一种免责方式。在军事上，士兵信任能自动探测狙击手位置的机器人，可能按其指示行动，甚至未来机器人配备武器后，人类扣扳机这一形式都可能省去。

因此，即使是仅提供建议的通用人工智能系统，也需明确设计为安全的，即不给出违背人类价值观的建议。而且，神谕 AI 可能选择人类难以理解的方案，所以其设计必须明确符合人类价值观。

神谕 AI 可作为通向安全、自主通用人工智能的有用垫脚石，但它易转变为自主行动的通用人工智能，且很多人有动机这么做，所以它本身并非解决通用人工智能风险的办法，尽管作为纯粹神谕时比自主行动的通用人工智能更安全。

2. 自上而下的安全通用人工智能

为自主行动而构建的通用人工智能需要有安全的动机。确保其安全行为的方法可分为“自上而下”和“自下而上”两种。“自上而下”方法是采用特定伦理理论，构建能实施该理论的系统。不过，这种方法存在以下问题：
- 道德哲学局限性 ：在功利主义计算中，信息有限且行动影响复杂时，如何计算后果、哪些后果应纳入效用最大化考量以及是否有终止程序等都是难题。
- 框架问题 ：要在不考虑所有信息的情况下区分相关和无关信息是挑战，道德决策涉及诸多相关问题