30、深度学习的局限与未来发展方向

深度学习的局限与未来发展方向

1. 深度学习的局限性

1.1 缺乏对输入的理解

深度学习模型对输入缺乏理解，至少不是人类意义上的理解。人类对图像、声音和语言的理解基于自身的感官运动体验，而机器学习模型无法获得这样的体验，因此不能以人类可关联的方式理解输入。我们通过大量人工标注的训练示例让模型学习一种几何变换，将数据映射到特定示例上的人类概念，但这种映射只是我们脑海中原始模型的简单草图，就像镜子里模糊的影像。

作为机器学习从业者，要时刻牢记这一点，不要误以为神经网络理解它们所执行的任务，它们只是在执行将训练输入逐点映射到训练目标的任务。一旦遇到与训练数据有偏差的输入，模型就会出现荒谬的错误。

1.2 局部泛化与极端泛化

深度学习模型从输入到输出的直接几何变换与人类的思考和学习方式存在根本差异。人类不仅能从自身的具体体验中学习，而且在潜在表征的本质上也与深度学习模型不同。

人类具有远超深度学习网络或昆虫的能力，能够构建关于当前情况、自身和他人的复杂抽象模型，利用这些模型预测不同的未来并进行长期规划。人类还能将已知概念融合，以表示从未经历过的事物，这种处理假设情况、扩展心理模型空间、进行抽象和推理的能力，被称为极端泛化，即能利用少量甚至无需新数据，快速适应全新的、从未经历过的情况。

与之形成鲜明对比的是，深度学习网络只能实现局部泛化。如果新输入与训练时的数据稍有不同，其输入到输出的映射就会失效。例如，使用深度学习网络学习火箭登月的发射参数，需要进行数千甚至数百万次的发射试验，才能学习到从输入空间到输出空间的可靠映射。而人类可以利用抽象能力构建物理模型，在少数几次试验中找到精确的解决方案。同样，若开发