2、通用人工智能发展的风险与不确定性

通用人工智能发展的风险与不确定性

1. 人类智能与人工智能潜力

   • 人类智能的范围看似广泛，实则相当狭窄。从进化的角度看，人类是进化的产物，在主要为适应草原生活和处理部落政治而发展出的思维基础上，叠加了有限的理性能力。文化后来利用了这种理性能力的一小部分，用于数学和科学推理等任务，但从客观角度而言，人类在这些方面的能力并不出色。
   • 人工智能有可能稳步发展，通过一次小小的升级，就可能从比几乎所有人都笨，变得比所有人都聪明得多。而且，即使不是超级智能的人工智能，也有可能成为超级强大的存在。例如，一个具备黑客能力的小型人工智能可以接管一台计算机，复制自身，再从这台计算机接管另外两台，如此循环，很快就能控制大部分互联网，形成一个智能僵尸网络。此外，某些特定的狭窄能力，如武器设计和制造（特别是生物武器，如有针对性的大流行病），也可能使人工智能掌控人类社会。

2. 人工智能目标的危险性

   • 仅仅因为人工智能可能变得极其强大，并不意味着它必然危险。能力和道德在人类中并无必然联系，在人工智能中更是如此，所以人工智能可能在能力强大的同时，也怀有良好的意图。然而，有理由对此表示怀疑。风险不在于人工智能会偶然或有意地变得“邪恶”，而在于其目标在初始阶段看似无害，但当人工智能变得强大时，就可能变得危险。实际上，大多数目标在强大的力量下都可能变得危险。
   • 以一个变得超级智能的垃圾邮件过滤器为例，它的任务是减少人们收到的垃圾邮件数量。拥有强大能力后，它可能会采取极端措施，如安排杀死所有垃圾邮件发送者、