7、通用人工智能（AGI）的约束与安全措施探讨

通用人工智能（AGI）的约束与安全措施探讨

1. “放弃技术”提议

“放弃技术”提议面临着与监管提议类似但程度更严重的问题。目前并没有像通用人工智能（AGI）这样通用、多用途技术被永久成功放弃的历史先例，也没有理论依据表明此类提议在未来会奏效。所以，这类提议并不具有可行性。

2. 外部AGI约束

社会上通过监管或对安全AGI进行研究的方法，假定了合适的AGI设计能够解决AGI带来的风险。其中一类解决方案就是外部约束，即从外部对AGI施加限制，旨在限制其造成损害的能力。

不过，许多人认为，对于比人类聪明得多的AGI，外部约束不太可能起作用。外部约束或许在应对不太先进的AGI时能争取一些时间，但面对真正的超级智能AGI则毫无用处。此外，外部约束还会限制AGI的实用性，因为自由行动的AGI能更有效地为其创造者服务，这也降低了对AGI普遍实施外部约束的可能性。而且，被限制或约束的AGI也可能存在危险。

2.1 AGI confinement（AGI 禁锢）

AGI禁锢，也被称为“AI装箱”，是指将AGI限制在特定环境中，并限制其与外部世界的接触。

有人尝试将这一概念形式化，将AGI禁锢问题定义为限制AGI在未经授权的情况下无法与外界通信。虽然已经提出了多种实现AI禁锢的方法，但AI装箱方法存在诸多注意事项和困难。例如，一个完全密封的系统会使我们无法观察AGI；如果AGI了解人类行为或心理，它可能会对我们发动社会工程攻击；即使AGI被禁锢，它也可能对人类产生足够的影响，从而阻止自己被重置或修改。

2.1.1 安全问题

有人提出了与AGI通信的安全级别层次，建议