15、深度学习基础入门

深度学习基础入门

1 深度学习概述

随着机器学习问题变得愈发复杂，参数空间的地形也变得更加多样，通常呈现非凸性且有许多局部最小值。简单的梯度下降方法可能难以学习特定的函数。因此，人们将多层神经元连续堆叠，并使用反向传播算法进行联合训练。这样的层网络可以学习多个非线性函数，以拟合训练数据集。深度学习指的是多个神经网络层按顺序连接的情况。

“深度学习”这个术语有些模糊。在很多场合，深度学习是神经网络的一个新代名词，或者用于指代具有多个连续（深度）层的神经网络。不过，区分深度网络和浅层网络的层数是相对的。一般来说，深度网络仍然是神经网络（通过反向传播进行训练，学习输入的分层抽象，并使用基于梯度的学习方法进行优化），但通常具有更多的层。深度学习的显著特点是它能应用于传统方法和小型神经网络难以解决的问题。

神经网络的灵活性使其极具吸引力。由于反向传播和基于梯度的优化方法简单有效，神经网络被应用于许多类型的问题。下面将介绍影响深度神经网络（DNN）架构设计和模型训练的其他方法和注意事项，重点关注激活函数、误差函数、优化方法和正则化方法。

2 激活函数

在计算输出层的梯度时，阶跃函数在计算梯度方面并不实用，因为其导数处处为 0，这使得任何梯度下降方法都无效。因此，需要使用在反向传播过程中能提供有意义导数的非线性激活函数。

2.1 Sigmoid 函数

Sigmoid 函数是一种常用的激活函数，其表达式为：
[
\sigma(x) = \frac{1}{1 + e^{-x}}
]
Sigmoid 函数是一个连续的压缩函数，将输出限制在 (0, 1) 范围内。它与阶跃函数