qq_36760793的博客

RNN原理及pytorch代码解析,RNN的优势为可以利用过去的数据来推测当前数据的理解方式，但是由于RNN的参数是共享的，每一时刻都会由前面所有的时刻共同决定，这是一个相加的过程，这样的话就有个问题，当距离过长了，计算前面的导数时，最前面的导数就会消失或者爆炸，当但是当前时刻的整体梯度并不会消失，因为t时刻隐藏单元的值是1、2…且由于权值共享，所以整体的梯度还是会更新，通常在RNN中说的梯度消失是指后面的信息用不到前面的信息了。