29、深度学习的局限与未来展望

深度学习的局限与未来展望

1. 深度学习的局限性

深度学习可实现的应用空间近乎无限，但当前的深度学习技术仍存在诸多无法触及的应用领域，即便有大量人工标注的数据。

1.1 能力边界

许多需要推理、长期规划和算法数据处理的任务，深度学习模型难以胜任。例如，即便有大量软件产品特性的英文描述及对应的源代码数据，也无法训练深度学习模型根据产品描述生成合适的代码库。学习排序算法对深度神经网络来说也极其困难。

这是因为深度学习模型只是一系列简单、连续的几何变换，将一个向量空间映射到另一个向量空间。它只能在存在可学习的连续变换时，将数据流形 X 映射到流形 Y。大多数程序无法用深度学习模型表示，要么不存在解决该任务的深度神经网络，要么即使存在也可能无法学习，因为对应的几何变换可能过于复杂，或者没有合适的数据来学习。

增加网络层数和使用更多训练数据只能表面缓解部分问题，无法解决深度学习模型表示能力有限以及多数想学习的程序无法用数据流形的连续几何变换表示的根本问题。

1.2 拟人化风险

当代人工智能存在误解深度学习模型功能和高估其能力的风险。人类倾向于将意图、信念和知识投射到周围事物上，在深度学习中，当我们成功训练模型为图片生成描述时，会误以为模型“理解”了图片内容和生成的描述。但当输入数据稍有偏离训练数据，模型就可能生成荒谬的描述。

对抗样本进一步凸显了这一问题。通过梯度上升稍微修改图像，可使神经网络将熊猫误分类为长臂猿，这显示了模型的脆弱性以及其输入 - 输出映射与人类感知的巨大差异。

深度学习模型对输入没有人类意义上的理解。人类对图像、声音和语言的理解基于感觉运动经验