RNN与LSTM学习笔记

最新推荐文章于 2024-05-07 18:01:46 发布

teslacool

最新推荐文章于 2024-05-07 18:01:46 发布

阅读量449

点赞数

CC 4.0 BY-SA版权

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.youkuaiyun.com/sinat_33006005/article/details/80020989

这篇学习笔记详细介绍了RNN和LSTM的工作原理。RNN因其在处理序列数据时的特性而受到关注，但也存在梯度消失和遗忘问题。LSTM通过细胞状态解决了长期依赖问题，能更好地保留信息。笔记涵盖了RNN的前向传导和反向传播，以及LSTM的基本结构和优势。

学习笔记：RNN与LSTM

记录一下学习进度吧。

RNN

Recurrent Neural Network偏重于数据时序上的处理，是一个链式的结构。由于RNN中存在时间上的信息，就可以根据之前出现的信息对当前的信息进行推断，链式的特征揭示了 RNN 本质上是与序列和列表相关的。他们是对于这类数据的最自然的神经网络架构。这可能就是它最大的优势吧。
但是类似于梯度衰减和梯度爆炸，但信息相隔时间过晚，会存在信息遗忘的情况，无法体现优势。
RNN展开结构

RNN前向传导公式示意

s t = t a n h (U x t + W s t - 1)

$s_t=tanh(Ux_t+Ws_{t-1})$

o t = s o f

最低0.47元/天解锁文章

新学期VIP享超值加赠

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。