46、深度学习的局限与人工智能的发展方向

深度学习的局限与人工智能的发展方向

1. 深度学习的局限性

作为机器学习从业者，要时刻谨记，神经网络并不理解它们所执行的任务。它们接受训练的任务，比我们期望它们掌握的任务要狭窄得多，只是将训练输入逐点映射到训练目标。一旦遇到与训练数据有偏差的情况，它们就会以荒谬的方式失效。

2. 自动机与智能体的区别

深度学习模型从输入到输出的简单几何变换，与人类的思考和学习方式存在根本差异。人类通过自身的具体经验进行学习，而不是依赖明确的训练示例。人类大脑与可微参数函数有着本质的不同。

2.1 大脑的进化与功能

大脑是一种进化适应机制，经过数亿年的随机试错和自然选择逐渐发展而来。它极大地增强了生物体适应环境的能力。大脑最初出现在超过五亿年前，用于存储和执行行为程序。这些行为程序是使生物体对环境做出反应的指令集，将生物体的感官输入与运动控制联系起来。早期的大脑只是将行为程序硬编码为神经连接模式，就像昆虫的大脑一样，只能执行预先设定的程序，类似于自动机。

2.2 自动机与智能体的差异

自动机只能按照预设的程序执行任务，缺乏对任务的理解。例如，恒温器、列表排序程序和经过训练的深度神经网络都属于自动机的范畴。而智能体则能够理解任务，并根据不同的情况进行灵活调整。就像笛卡尔所说：“即使这些机器可能在某些方面做得和我们一样好，甚至更好，但在其他方面必然会失败，这表明它们的行为并非基于理解，而仅仅是器官的配置使然。”

3. 局部泛化与极端泛化

3.1 泛化能力的定义

智能的特征是理解，而理解的体现是泛化能力，即处理各种新情况的能力。可以通过给学生一个