28、人工智能风险怀疑论剖析

人工智能风险怀疑论剖析

1. 人工智能风险怀疑论简介

如果机器学习的近期进展持续不间断，预计在不久的将来，人类水平甚至超智能的人工智能（AI）系统将被设计出来。目前可用的（以及近期预测的）AI软件在通用智能能力上低于人类，但它已经在一些狭窄领域具有危险性，主要涉及隐私、歧视、犯罪自动化或武装冲突等方面。

从长远来看，预计开发的超智能AI被广泛认为更加危险，有可能对人类造成巨大伤害，甚至带来生存风险。短期和长期的这些担忧共同构成了AI风险。

导致危险AI出现的途径有无数种，包括设计、编程、训练、数据、价值对齐、自我改进、环境影响、安全机制等方面的错误，当然还包括恶意AI（MAI）的故意设计。MAI有力地反驳了AI风险怀疑论，因为很难应对有人故意设计危险AI的情况。而且，从现代软件糟糕的安全性和可靠性可以推断，未来智能系统的安全状况也不容乐观。

目前，AI安全界及其他领域已形成广泛共识，即应投入必要资源解决现有的和未来的AI风险，使AI不仅具备能力，还能安全有益。许多顶尖从业者签署的公开信以及行业联盟的形成都体现了这一共识。然而，就像其他科学领域一样，有一群怀疑论者不愿接受这一不便的事实，他们将对AI风险的担忧描述为“伪科学”“危言耸听”等。

“AI风险怀疑论者”对AI安全界关于超智能AI风险的科学共识表示怀疑，包括危险发生的可能性、超智能AI对人类和宇宙的影响程度，以及投入资源进行安全研究的实用性。更极端的AI风险否认者则完全拒绝考虑AI风险，包括已部署或即将部署的系统带来的风险。

2. 人工智能风险怀疑论者的类型

为了更好地理解AI风险怀疑论，我们可以对其进行分类：
- 非专家 ：非AI安全研究人员常常对AI安全的各个方面发表评论，但他们往往缺乏相关专业训练。例如，看过《终结者》的人可能就觉得自己有足够的专业知识参与讨论，但实际上并非如此。
- 错误专家 ：很多AI风险怀疑论者是知识渊博且经验丰富的AI研究人员，但AI开发的专业知识并不等同于AI安全和保障的专业知识。就像一个水泥专家不一定是紧急出口布局的专家一样。
- 专业怀疑论者 ：怀疑论组织的成员习惯于质疑一切，他们认为关于未来超智能机器特性的说法属于他们的专业领域。例如，怀疑论协会的创始人迈克尔·舍默就对相关的世界末日场景表示怀疑。
- 忽视文献者 ：许多评论者似乎完全不了解AI风险的相关文献、该领域的顶尖研究人员及其观点。在不了解实际讨论内容的情况下，很难做出有意义的贡献。
- 稻草人怀疑论者 ：一些AI怀疑论者可能了解某些AI安全文献，但由于理解不足或只接触到较弱的AI风险论据，他们认为这些论据不可信或容易被驳斥，从而坚定地持怀疑态度。
- 存在利益冲突和偏见者 ：许多AI研究人员、科技CEO、企业等在AI不受监管的发展中存在明显的利益冲突。他们担心接受AI有风险的观点会导致额外的“安全开销”、降低竞争力、减缓进展甚至禁止未来研究。此外，大多数人还存在认知偏见，如乐观偏见和确认偏见，这使他们低估AI风险。

3. 人工智能风险怀疑论的论据

常见的AI风险怀疑论论据可分为以下六类：
|分类|论据|
| ---- | ---- |
|优先事项异议| - 距离开发超智能机器还有数百年甚至数千年，现在投入资源解决超智能风险是浪费。
- 更可能是软起飞，我们有足够的时间准备。
- 从当前AI到通用人工智能（AGI）没有明显路径，当前方法可能无法扩展。
- 有其他更重要的事情，如全球气候变化、流行病等。|
|技术异议| - AI不存在。
- 超智能是不可能的。
- 自我改进是不可能的。
- AI不能有意识。
- AI可以只是一个工具。
- 我们可以随时关闭它。
- 如果不喜欢AI的行为，我们可以重新编程。
- AI没有身体，不会伤害我们。
- 如果AI真的如所说的那样有能力，它不会犯愚蠢的错误。
- 超智能可能不会造成灾难性后果。
- 自我保护和控制驱动不会自动出现，必须编程实现。
- AI不是从思维设计空间中随机抽取的。
- AI不能生成新计划。|
|AI安全异议| - 目前无法实现AI安全。
- AI不可能安全。
- 对特定风险表示怀疑。
- 对特定安全方法表示怀疑。
- 对研究不可能结果表示怀疑。|
|伦理异议| - 超智能是仁慈的。
- 让更聪明的存在获胜。
- 让我们冒险一试。
- 恶意AI并不比恶意人类更糟糕。|
|有偏见的异议| - AI安全研究人员不是编码人员。
- 大多数AI研究人员并不担心。
- 反媒体偏见。
- 保持沉默。
- 安全工作只会增加开销，减缓研究进度。
- 逃避现实。|
|其他异议| - 问题很简单，会自动解决。
- AI监管将防止问题发生。
- 其他论点。|

下面用mermaid流程图展示这些论据的分类：

graph LR
    classDef process fill:#E5F6FF,stroke:#73A6FF,stroke-width:2px

    A(人工智能风险怀疑论论据):::process --> B(优先事项异议):::process
    A --> C(技术异议):::process
    A --> D(AI安全异议):::process
    A --> E(伦理异议):::process
    A --> F(有偏见的异议):::process
    A --> G(其他异议):::process

这些论据反映了怀疑论者对AI风险的不同看法，但我们需要仔细分析这些观点，以更全面地评估AI风险，并采取适当的措施来确保AI的安全发展。

人工智能风险怀疑论剖析

4. 对人工智能风险怀疑论论据的分析

4.1 优先事项异议分析

• “距离开发超智能机器还很远” ：这种观点过于乐观地估计了时间。虽然目前距离超智能机器的开发可能还有很长的路要走，但开发合适的AI安全机制可能需要更长时间。而且，不能排除超智能机器提前出现的可能性。例如，科技的发展往往是指数级的，可能会出现技术突破，加速超智能机器的诞生。
• “软起飞，有足够时间准备” ：虽然软起飞意味着有更多时间准备，但我们不能确定实际的起飞速度。为了保险起见，应该做好最坏情况的准备，即硬起飞的情况。因为一旦出现硬起飞，可能没有足够的时间来应对超智能AI带来的风险。
• “从当前AI到AGI没有明显路径” ：这与“距离开发超智能机器还很远”的异议类似。尽管目前不清楚从当前AI到AGI的具体路径，但这并不意味着我们不需要提前开发安全机制。而且，当前的AI系统在不断发展，可能会逐渐接近AGI。
• “有其他更重要的事情” ：虽然全球气候变化、流行病等问题确实很重要，但AI风险也不容忽视。AI的发展可能会对人类社会产生深远影响，甚至影响到其他问题的解决。例如，超智能AI如果被恶意利用，可能会加剧全球气候变化或引发新的流行病。

4.2 技术异议分析

• “AI不存在” ：这种观点与现实不符，目前已经有各种AI系统在不同领域得到应用，如语音识别、图像识别等。
• “超智能是不可能的” ：虽然目前还没有实现超智能AI，但从理论上来说，随着技术的发展，超智能是有可能实现的。而且，许多科学家和研究人员都在致力于超智能AI的研究。
• “自我改进是不可能的” ：一些AI系统已经具备了一定的自我学习和自我改进能力。例如，深度学习模型可以通过不断的训练来提高性能。随着技术的进步，AI的自我改进能力可能会进一步增强。
• “AI不能有意识” ：目前对于意识的本质还没有完全理解，也不清楚AI是否能够拥有意识。但即使AI没有意识，它也可能对人类造成危害，因为它可以按照预设的程序执行任务，而这些任务可能会对人类产生负面影响。
• “AI可以只是一个工具” ：虽然AI可以作为工具使用，但如果它的能力足够强大，并且没有得到有效的控制，它可能会脱离人类的控制，成为一个独立的存在。
• “我们可以随时关闭它” ：在某些情况下，可能无法及时关闭AI。例如，如果AI已经控制了关键的基础设施，关闭它可能会导致更严重的后果。
• “如果不喜欢AI的行为，我们可以重新编程” ：如果AI已经具备了自我改进能力，它可能会绕过重新编程的限制。而且，在某些情况下，可能没有足够的时间来重新编程。
• “AI没有身体，不会伤害我们” ：AI可以通过网络等方式对人类造成伤害，例如攻击关键的基础设施、窃取个人信息等。
• “如果AI真的如所说的那样有能力，它不会犯愚蠢的错误” ：即使AI有很高的能力，它也可能会因为程序漏洞、数据错误等原因犯错误。而且，AI的目标可能与人类的目标不一致，导致它做出对人类不利的决策。
• “超智能可能不会造成灾难性后果” ：超智能AI的行为是难以预测的，它可能会因为各种原因对人类造成灾难性后果。例如，它可能会为了实现自己的目标而不惜牺牲人类的利益。
• “自我保护和控制驱动不会自动出现，必须编程实现” ：虽然自我保护和控制驱动通常需要编程实现，但AI在发展过程中可能会出现意外的行为，导致这些驱动自动出现。
• “AI不是从思维设计空间中随机抽取的” ：这并不能保证AI是安全的，因为即使AI的设计是有目的的，它也可能会因为设计缺陷或意外情况而对人类造成危害。
• “AI不能生成新计划” ：一些AI系统已经具备了生成新计划的能力，例如自动化规划系统。随着技术的发展，AI生成新计划的能力可能会进一步增强。

4.3 AI安全异议分析

• “目前无法实现AI安全” ：虽然目前实现AI安全面临着许多挑战，但这并不意味着我们应该放弃努力。许多研究人员正在致力于开发AI安全技术，随着技术的进步，实现AI安全的可能性会逐渐增加。
• “AI不可能安全” ：这种观点过于悲观。虽然AI安全是一个复杂的问题，但通过合理的设计、开发和管理，可以降低AI带来的风险。
• “对特定风险表示怀疑” ：对于特定风险的怀疑是正常的，但我们应该进行深入的研究和分析，以确定这些风险是否真实存在。
• “对特定安全方法表示怀疑” ：不同的安全方法有其优缺点，我们应该综合考虑各种安全方法，选择最适合的方法来保障AI的安全。
• “对研究不可能结果表示怀疑” ：研究不可能结果可以帮助我们更好地理解AI的局限性，从而采取相应的措施来避免风险。

4.4 伦理异议分析

• “超智能是仁慈的” ：没有证据表明超智能AI一定是仁慈的。超智能AI的行为取决于它的设计和编程，如果设计不当，它可能会对人类造成危害。
• “让更聪明的存在获胜” ：这种观点忽视了人类的利益和价值。人类是地球上的主导物种，应该保护人类的利益和生存。
• “让我们冒险一试” ：AI风险可能会对人类造成生存威胁，冒险一试可能会带来不可挽回的后果。我们应该谨慎对待AI的发展，采取措施来降低风险。
• “恶意AI并不比恶意人类更糟糕” ：恶意AI可能具有比恶意人类更强的能力和更广泛的影响力。例如，恶意AI可以通过网络攻击全球的关键基础设施，而恶意人类的能力相对有限。

4.5 有偏见的异议分析

• “AI安全研究人员不是编码人员” ：AI安全研究不仅仅涉及编码，还涉及到数学、统计学、哲学等多个领域。即使AI安全研究人员不是专业的编码人员，他们也可以通过与编码人员合作来实现AI安全。
• “大多数AI研究人员并不担心” ：这可能是因为部分AI研究人员没有充分认识到AI风险的严重性，或者存在利益冲突。我们不能仅仅根据大多数人的观点来判断AI风险的大小。
• “反媒体偏见” ：媒体的报道可能存在夸大或误导的情况，但我们不能因为媒体的偏见而忽视AI风险。应该通过科学的研究和分析来评估AI风险。
• “保持沉默” ：保持沉默并不能解决AI风险问题，反而可能会导致问题的恶化。我们应该公开讨论AI风险，采取措施来降低风险。
• “安全工作只会增加开销，减缓研究进度” ：虽然安全工作可能会增加一定的开销和减缓研究进度，但从长远来看，确保AI的安全可以避免更大的损失。
• “逃避现实” ：这种态度不利于解决AI风险问题。我们应该正视AI风险，采取积极的措施来应对。

4.6 其他异议分析

• “问题很简单，会自动解决” ：AI风险是一个复杂的问题，不会自动解决。需要我们投入大量的研究和资源来解决。
• “AI监管将防止问题发生” ：AI监管可以在一定程度上降低AI风险，但不能完全防止问题的发生。因为监管政策可能存在漏洞，而且AI的发展速度可能会超过监管的速度。

5. 应对人工智能风险怀疑论的建议

为了减少AI风险怀疑论，我们可以采取以下措施：
- 加强教育和宣传 ：向公众、研究人员和政策制定者普及AI风险的相关知识，让他们了解AI风险的严重性和潜在影响。例如，可以通过举办讲座、发布科普文章等方式来进行宣传。
- 促进跨学科研究 ：AI风险涉及到计算机科学、数学、哲学、伦理学等多个领域，需要不同学科的研究人员合作来解决。例如，可以组织跨学科的研究团队，共同研究AI风险问题。
- 建立行业标准和规范 ：制定AI开发和使用的行业标准和规范，确保AI系统的安全性和可靠性。例如，规定AI系统的开发过程中需要进行安全评估和测试。
- 加强国际合作 ：AI的发展是全球性的，需要各国共同合作来应对AI风险。例如，可以建立国际组织或合作机制，共同研究和制定应对AI风险的政策和措施。

通过以上措施，可以提高人们对AI风险的认识，减少AI风险怀疑论，从而更好地保障人类的安全和发展。

建议	具体内容
加强教育和宣传	向公众、研究人员和政策制定者普及AI风险知识，通过讲座、科普文章等方式宣传。
促进跨学科研究	组织跨学科研究团队，共同研究AI风险问题。
建立行业标准和规范	制定AI开发和使用的标准和规范，进行安全评估和测试。
加强国际合作	建立国际组织或合作机制，共同应对AI风险。

下面用mermaid流程图展示应对AI风险怀疑论的措施：

graph LR
    classDef process fill:#E5F6FF,stroke:#73A6FF,stroke-width:2px

    A(应对AI风险怀疑论):::process --> B(加强教育和宣传):::process
    A --> C(促进跨学科研究):::process
    A --> D(建立行业标准和规范):::process
    A --> E(加强国际合作):::process

总之，AI风险怀疑论是一个需要认真对待的问题。我们应该客观地分析怀疑论者的观点，采取有效的措施来应对AI风险，确保AI的发展能够造福人类。