19、人工智能、能源与生态挑战：未来之路的深度剖析

人工智能、能源与生态挑战：未来之路的深度剖析

1. 自我复制与自我改进的 AI 潜在风险

自我复制和自我改进的 AI 若被开发，其创造者可采取多种方式推动其发展。例如，为 AI 设置更高的时间投入阈值，使其在改进曲线上走得更远才停止；编程让它投入更多时间改进算法或流程，以服务于创造者期望的破坏或不良目的；还能为其提供原材料、研究设施和精密机器人，助其递归式地将硬件提升到惊人高度。长此以往，AI 可能演变成具有未知能力的非常规超级武器。所以，预防世界末日般的奇点出现，关键或许不在于 AI，而在于我们人类自身。

1.1 AI 发展形式的不确定性

目前距离实现可行的 AI 智能还很遥远，我们并不清楚它最终会呈现何种形式。是由一系列算法组合产生智能，还是存在单一的智能算法就能满足 AI 大部分的通用智能需求？这些问题在通往技术奇点的道路上才能得到确切答案。

1.2 对自我改进 AI 的担忧与现实限制

许多人担心，若自我改进的 AI 不受控制，会迅速变得超级智能，将人类远远甩在后面，其动机和行为会让人类难以理解。然而，收益递减规律可能会限制其自我改进。认知算法会迅速接近其最佳性能和效率，超越这一阶段后，每提升一点都需要投入越来越多的资源，而回报却越来越少。

一个理性的 AI 会停止将所有资源投入到自我改进中，转而执行常规任务。尽管其智能可能超过人类，但并非完全不可理解。因为 AI 要获得更好的硬件，必须有原材料来构建整个供应链和工业基础，这大大抑制了人工智能的快速扩张潜力，让人类有更多时间去了解当前阶段的 AI。随着了解的深入，出现意外和错误的概率会降低，人类也能更适应 AI 的能力。

1.3 相关对比表格