机器学习-前向神经网络

《百面机器学习》读书笔记

神经网络中的激活函数

引用书中的一段话

“真实情况中， 我们往往会遇到线性不可分问题（如XOR异或函数） ， 需要非线性变换对数据的分布进行重新映射。 对于深度神经网络， 我们在每一层线性变换后叠加一个非线性激活函数， 以避免多层网络等效于单层线性函数， 从而获得更强大的学习与拟合能力。”

Sigmoid / Tanh / ReLU（主流的中间层激活函数）

Sigmoid及Tanh在变量值很大或者很小时，会出现梯度消失的现象。ReLU具备非饱和性及单侧抑制能力。

损失函数

分类问题：交叉熵损失（最后一层激活函数sigmoid或者softmax）

回归问题：平方损失

训练技巧

参数初始化：随机分布

Dropout: 抑制过拟合，提高模型泛化能力

BN层：不使用BN层的情况下，由于每一层的输入数据（前一层的输出数据）分布不同，所以每一批数据的分布都不同，神经网络的每一次迭代都需要拟合一个新的特征分布，BN层相当于强制把前一层的输出做归一化（标准差为1，均值为0）喂给后面一层，让整体数据（网络中间的数据，不仅仅是最初的输入）同分布。这种操作会提高训练速度，并且使得网络的泛化能力变强，但是拟合能力变弱（毕竟干扰了网络实实在在学习到的分布），因此，最后再引入变换重构，让网络学习重构参数。（https://blog.youkuaiyun.com/weixin_43593330/article/details/105567304）

 

残差结构：

网络太深会导致梯度消失（梯度很小，连乘过后，网络起始输入部分的参数梯度基本没有了）。

1. 将靠近输入的网络层短接到靠近输出的网络层，解决网络太深从而梯度消失的问题，输入层的参数可以被更新。

2. 如果X已经较好的拟合了目标，那么在中间多加一层不会让模型变得更差，因为X已经被短接到两层之后，相当于为模型的最终输出保留了X的信息，中间的部分只需要拟合真实目标与X的残差。