神经网络学习笔记

SRNN学习笔记

神经网络学习笔记

记录我在学习过程中受益的笔记
1.神经网络理解和实现：https://www.cnblogs.com/lliuye/p/9183914.html
2.sigmode函数求导证明：https://www.jianshu.com/p/d4301dc529d9
3.梯度下降的理解:https://www.jianshu.com/p/c7e642877b0e
4.RNN的理解：https://blog.youkuaiyun.com/zhaojc1995/article/details/80572098

笔记：
1.RNN解决的是序列数据（既数据与时间之间有关联性，下一个时刻的数据会受到上一个时刻影响）
2. 梯度消失问题
因为sigmoid函数和tach函数的导数都小于1，所以复合反复求导后，梯度会越来越接近0，→梯度消失。→神经网络，增加神经元数量比多加深度效果好。
解决方法（RNN是能追根溯源的，所以解决梯度消失很重要）：1.选取更好的激活函数（一般选用ReLU函数） 2. 改变传递结构
ReLU函数的左侧导数为0，右侧导数恒为1，这就避免了“梯度消失“的发生。但恒为1的导数容易导致“梯度爆炸“

LSTM（可以学习长期依赖信息）

CNN卷积神经网络：https://blog.youkuaiyun.com/m0_37490039/article/details/79378143
卷积→池化→全连接

上采样–任何可以让图像变得更高分别率的方法

卷积，池化等理解：https://blog.youkuaiyun.com/yjl9122/article/details/70198357