Torero_lch的博客

问题：讲讲反向传播算法？1、什么是反向传播算法个人理解：目的是通过梯度下降来求解参数，并利用复合函数的链式求导法则来求梯度。在反向传播过程中，为避免求导路径的重复计算，可以保存一部分计算结果。2、计算过程3、全导数公式 z=f(x,y)，x=u(t)，y=v(t)。那么z关于t的导数就是全导数dz/dt=(偏z/偏u)(du/dt)+(偏z/偏v)(dv/dt)4、...

Bagging等

GBDT

优化算法

注意力机制总结

激活函数和损失函数总结什么样的函数适合做激活函数？/损失函数？

梯度消失：什么是梯度消失？下图是Bengio等人2012年论文On the difficulty of training recurrent neural networks中提到的说法，当梯度快速的变为0时，使得模型无法学习到远程事件的关联。以前对梯度消失的理解比较模糊，以为就是梯度变得很小，没有去想是哪里的梯度变小，在什么时候发生的，以及在什么情况下会发生(发生的原因)。上面这句话说的比...

过拟合相关问题总结

其实直到现在，我对BPTT算法的理解都不太顺畅，暂时把目前的想法记录下来，之后自己实现一遍来加深理解。如果您看出了问题希望能提出来，感激不尽。循环神经网络因为不仅有空间上的层间关系，还有时序上的联系，导致在求梯度时和之前的反向传播算法有点不同。什么意思呢？在BP算法中，通过链式法则和全导数公式就可以求得损失函数关于某一个变量的梯度，但是在循环神经网络中，比如下图中，求E3关于U的偏导，不仅t=...

1、Dropout是怎么做的？1、随机删除某一层（非输入输出层）的部分神经元。2、然后进行正常的前向计算、反向训练和参数更新。只更新此时有的神经元连接参数，被删除的保持上次数值。3、重复上述步骤。2、dropout为什么可以防止过拟合？ 1、dropout的想法和Bagging类似，dropout掉不同的隐藏神经元就类似在训练不同的网络，相当于对很多个不同的神经网络取平均，而不...

深度残差网络