小白循环神经网络RNN LSTM 参数数量门单元 cell units timestep batch_size

阿唐明

于 2020-05-24 15:09:50 发布

阅读量3.4k

点赞数 4

分类专栏： dl 文章标签：神经网络深度学习算法 rnn lstm

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.youkuaiyun.com/persistinlife/article/details/106315287

版权

本文介绍了RNN循环神经网络的结构，详细讲解了LSTM的参数计算，包括遗忘门、输入门、输出门和候选记忆细胞。通过实例展示了LSTM如何处理时间步长和批量大小，并探讨了不同门控结构的作用。同时，提到了LSTM相对于RNN的参数量增加以及在实际应用中的工作原理。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

小白循环神经网络RNN LSTM 参数数量门单元 cell units timestep batch_size

RNN循环神经网络 timestep batch_size
LSTM及参数计算
keras中若干个Cell例如LSTMCell

1.RNN循环神经网络

在这里插入图片描述

先来解释一下 batch_size timestep

在这里插入图片描述

样本数据：

小明爱学习

小王爱学习

小李爱学习

小花爱学习

通常样本数据会以(batch_size, time_step, embedding_size)送入模型，对应的可以是（4，5，100）

4表示批量送入也就是（小，小，小，小）第二批是（明，王，李，花）…

5表示时间步长，一句话共5个字

100表示词嵌入的维度

$H_t = \phi(X_tW_{xh}+H_(t-1)W_{hh}+b_h)$

$X_t$ 输入假设一次输入4个字符，那么Xt的维度是4*100

$W_{xh}$ 对应的矩阵大小是 100*hidden_size

$X_tW_{xh}$ 输出大小即为4*hidden_size 也就是说W将词嵌入转换成隐藏层大小

$H_{t-1} $ 也就是 4*hidden_size

$W_{hh}$

最低0.47元/天解锁文章

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。