m0_37180911的博客

激活函数为什么需要非线性激活函数？Sigmoid神经元Tanh 神经元ReLU神经元Maxout单元SoftPlus激活函数为什么需要非线性激活函数？Sigmoid神经元缺点：易饱和性，当输入值非常大或者非常小的时候，这些神经元的梯度就接近于0.输出的期望不是0函数的定义为：f(x)=11+e−x f(x) = \frac{1}{1 + e^{-x}} f(x)=1+e−x1​，其值域...

深度学习正则化参数范数惩罚L2参数正则化L1参数正则化参数绑定和参数共享噪声注入和数据扩充稀疏表征早停dropout参数范数惩罚L2参数正则化L1参数正则化L1正则化的限制更为严格，也就更加的稀疏。稀疏性的一大好处就是特征选择。参数绑定和参数共享噪声注入和数据扩充稀疏表征L1是参数稀疏表征稀疏：隐藏层的输出大多数为零或接近零早停dropout...

深度学习优化局部最优鞍点梯度悬崖梯度消失梯度爆炸梯度不精确优化算法随机梯度下降动量学习法AdaGradRMSPropAdam参数初始化策略批量归一化挑战：局部最优、鞍点、梯度悬崖和梯度消失局部最优并不是找到全局最优点。局部最优点也可以，泛化性能也通常比最优解好。鞍点梯度悬崖这是由于几个较大的权重相乘导致的梯度消失解决：ReLU梯度爆炸如果上层的权重过大，当经过传递后，本层的梯度...

ROC和AUC