神经网络：激活函数、过拟合、Drop-out、权重初始化

神经元（权重参数w）的个数就是权重参数w的个数

激活函数：

1.sigmod函数（已废弃）迭代次数到了一定值导数趋于0，出现梯度消失的问题，这样w-w0*w中的w0会趋于0使得w的值基本不变，这样的迭代没有意义。

2.ReLu函数(受欢迎)：没有梯度消失的问题，求导简单，使得梯度下降更加有意义。

过拟合：

神经网络要泛化能力强才有用，主要看实际的用途，不是看训练的时候达到100%，图1出现过拟合，出现的爪太多，实际测试时会把绿色范围内的点包裹进去，图三和二泛化能力更强，效果更好。

但是神经元（权重参数）过多，就会产生过拟合，比如图三。

DROP-OUT（基本神经网络都采用来防止过拟合太严重）：

图1中每个x都连接全部的w，就是全连接，模型容易出现过拟合，图二为解决方法：对L1只更新保留率E（40%）（随机更新其中的二个）（正向、反向传播），下次迭代改变E。。。加大迭代次数，达到宽松模型、降低过拟合的风险。

权重初始化

权重初始化中的 w 不能为0 （迭代没有作用）或 常数（1,2,3等），防止梯度下降朝一个方向更新，迭代太弱！

b初始化一般为0 或其他常数（1,2,3等）