3、通用人工智能崛起：机遇与风险并存

通用人工智能崛起：机遇与风险并存

1. 通用人工智能安全问题

通用人工智能（AGI）安全指的是确保AGI尊重人类价值观，或尊重人类价值观的某种延伸与理想化形式。这里的“人类价值观”是指几乎所有人类都认同的基本价值观，比如AGI强行重新编程人类大脑、毁灭人类是糟糕的结果。

在涉及AGI风险的提案可能以重大但并非明显灾难性的方式改变人类价值观的情况下，我们会提及这些改变的可能性，但对其是否可取保持中立。为避免灾难性风险，仅确保部分AGI安全是不够的，解决AGI灾难性风险的提案需要提供机制，确保大多数（甚至几乎所有）AGI安全创建或防止其造成重大危害。

2. AGI可能迅速获得强大力量的原因

2.1 AGI发展的三种场景

Bugaj和Goertzel考虑了三种AGI场景：
- 受限智能场景 ：所有AGI被阻止超越预定的智能水平，与人类智能大致相当。
- 软起飞场景 ：AGI变得比人类强大得多，但在发展过程中允许人类持续与之交互，学习速度与人类相似。
- 硬起飞场景 ：AGI的能力会在几年甚至更短时间内急剧提升，有效控制世界，几乎没有时间进行错误纠正或逐步调整其目标。

场景类型	特点
受限智能场景	AGI智能受预定水平限制，与人类相当