Mr_Leeee的博客

线性回归线性回归是最简单的机器学习模型之一，但是它也包含了机器学习中最基本的思想，个人觉得它的实现思路与神经网络等深度学习从原理上并没有太大的区别。对于回归问题：y=wTx+by=w^Tx + by=wTx+b利用梯度下降原理对www，bbb进行更新：wt+1=wt−α∗1/m∗∑i=1n(yip−yir)w^{t+1}=w^t - \alpha*1/m*\sum_{i=1}^{n}{(y...

前言梯度消失和梯度爆炸是深度学习常见的问题产生的原因神经网络反向传播固有的问题；其实梯度爆炸和梯度消失是同一个问题，只是发生在训练的不同时期：梯度爆炸：发生在训练的初期，靠近输出层的权重变化迅速，随着这些值的累计加上非线性函数，导致靠近输入层的权重更新量变得很大，这就是梯度爆炸。梯度消失：在神经网络度过梯度爆炸后，靠近输出层的权重基本已经不变化，加上非线性函数的作用，导致靠近出入层的权...