动手学深度学习（二）基础知识-下

一、多层感知机

1、隐藏层

多层感知机在单层神经网络的基础上引入了一到多个隐藏层（hidden layer）。隐藏层位于输入层和输出层之间。

由于输入层不涉及计算，下图的多层感知机的层数为2（隐藏层+输出层）。

多层感知机中的隐藏层和输出层都是全连接层。

含单隐藏层的多层感知机的设计，将隐藏层的输出直接作为输出层的输入。其输出O可以由如下得到：

​

从联立后的式子可以看出，虽然神经网络引入了隐藏层，却依然等价于一个单层神经网络：其中输出层权重参数为WhWo，偏差参数为bhWo+bo。

2、激活函数

①为什么要引入激活函数

虽然神经网络引入了隐藏层，却依然等价于一个单层神经网络这个问题的根源在于：全连接层只是对数据做仿射变换（affine transformation），而多个仿射变换的叠加仍然是一个仿射变换，无法增加模型的非线性表达能力，因此隐藏层的存在并不会提高网络的表达能力。

②引入了激活函数进行非线性变换的好处

激活函数通过引入非线性变换，增强了网络的表达能力，使其可以处理复杂的非线性关系，从而解决线性变换无法解决的问题，带来了模型更强的拟合能力和表现力。

例子：

如果数据点分布在两个非线性可分的区域内，例如两个同心圆。单层神经网络或仅包含线性层的神经网络无法通过线性分割平面将这些数据分开。原因在于，单纯的线性变换无论如何都无法划分这样的非线性边界。

然而，如果引入非线性激活函数，例如 ReLU 或 Sigmoid，隐藏层可以通过多次非线性变换，逐渐将这些非线性可分的区域转化为线性可分的空间，从而使得网络能够正确分类。这种能力来自于非线性激活函数的引入，使得模型可以学习到更复杂的边界。

③几个激活函数

（1）ReLU函数

ReLU（rectified linear unit）函数提供了一个很简单的非线性变换。给定元素x，该函数定义为：

​

可以看出，ReLU函数只保留正数元素，并将负数元素清零。

​

ReLU(x)

当输入为负数时，ReLU函数的导数为0；当输入为正数时，ReLU函数的导数为1。尽管输入为0时ReLU函数不可导，但是我们可以取此处的导数为0。 

​

求导

（2）sigmoid函数

sigmoid函数可以将元素的值变换到0和1之间，当输入接近0时，sigmoid函数接近线性变换。

​

​

sigmoid函数

依据链式法则，sigmoid函数的导数为：