28、深度学习：现状、原理与应用前景

深度学习：现状、原理与应用前景

1. 深度学习的长期影响

深度学习在图像分类、机器翻译等领域取得了显著进展。尽管当前的热度可能会消退，但它对经济和技术的持续影响将长久存在。这类似于互联网，虽在短期内可能被过度炒作，但从长远来看，它将是一场改变经济和生活的重大革命。即使未来十年内技术不再进步，将现有算法应用于各个适用问题，也会为大多数行业带来变革。目前，由于资源和人力的指数级投入，深度学习正以极快的速度发展。不过，短期内人们的期望有些过于乐观，充分发挥深度学习的潜力需要超过十年的时间。

2. 深度学习的本质理解

深度学习最令人惊讶的是其简单性。十年前，没人料到通过梯度下降训练的简单参数模型能在机器感知问题上取得如此惊人的成果。现在发现，只需用梯度下降在大量示例上训练足够大的参数模型即可。

在深度学习中，一切都是向量，即几何空间中的一个点。模型输入（如文本、图像等）和目标首先被向量化，转化为初始输入向量空间和目标向量空间。深度学习模型的每一层对通过它的数据进行一次简单的几何变换，模型中的各层链形成一个复杂的几何变换，可分解为一系列简单变换。这个复杂变换试图将输入空间逐点映射到目标空间，其由各层的权重参数化，权重会根据模型当前的表现进行迭代更新。该几何变换的一个关键特性是必须可微，这样才能通过梯度下降学习其参数，直观来说，从输入到输出的几何变形必须平滑且连续，这是一个重要约束。

可以将对输入数据应用这个复杂几何变换的整个过程想象成一个人试图展开一个纸球。纸球代表模型开始时的输入数据流形，人对纸球的每一次移动类似于一层进行的简单几何变换，整个展开动作序列就是整个模型的复杂变换。深度学习模型是用于展开高维数据复杂流形的数学机器。