一、促使深度学习发展的挑战

促使深度学习发展的挑战

深度学习的产生是为了解决传统机器学习算法无法处理的复杂AI任务，所以促使深度学习发展的挑战即为传统机器学习面临的难题。

1、维数灾难

我们将完整的样本空间看作是由大小相同的方块组成，一个方块代表一个样本。如下图所示，

左图为一维样本空间，中图为二维样本空间，右图为三维样本空间。图中每个方块表示一个样本，空白区域表示缺失对应训练样本。可以看出，随着维度的提高，样本空间样本总数呈指数级上升，但实际中的训练样本有限，经常出现所需学习的参数数量远远大于训练样本数量。许多传统机器学习算法只是简单得将未出现的新样本点（即图中的空白区域）对应的输出近似为最近训练样本的输出。

2、局部不变性和平滑正则化

为了更好地泛化，机器学习算法需要先由先导信念引导应该学习什么类型的函数。通俗地讲，先验信念体现在选择一些偏好某类函数的算法。常使用的先验有平滑先验或局部不变性先验。这个先验表明所学函数在很小的区域内变化非常小。许多简单的算法完全依赖这些先验可以泛化很好，但无法推广到涉及统计挑战（维数灾难）的AI任务中。深度学习将引入额外的先验来降低泛化误差。

3、流形学习

在数学中，流形指一组点，且每个点都有其邻域，暗示着存在变换能够在流形上从一个位置移动到另一个位置。在机器学习中，它往往被宽松地定义为一组相连的点，这些点可通过仅考虑嵌入到高维空间中的少量的自由度或维度来很好地近似化。一个维度对应一个局部变化的方向。下图为一个嵌入到二维空间的一维流形示例。