LSTM的参数量计算

最新推荐文章于 2025-03-17 17:00:00 发布
最新推荐文章于 2025-03-17 17:00:00 发布
阅读量2.7k 收藏 12
点赞数 5
分类专栏： 深度学习 文章标签： lstm 深度学习 神经网络
原文链接：https://www.cnblogs.com/wushaogui/p/9176617.html
版权

1.LSTM简单介绍

(产生矩阵变化的都是下面图中的红色部分 一共有四个 上面那个tanh由于维度正确，只需要激活即可，没有矩阵变换)
在这里插入图片描述
LSTM只有一个，他的权重都是共享的
红框从左到右,依次是:

  • 忘记门层: 决定从细胞状态中丢弃什么信息,通过当前时刻输入和前一个时刻输出决定
  • 细胞状态: 确定并更新新信息到当前时刻的细胞状态中
  • 输出门层: 基于目前的细胞状态决定该时刻的输出

2.简单假设样例

假设现有一个样本,Shape=(13,5),时间步是13,每个时间步的特征长度是5.形象点,我把一个样本画了出来:

在这里插入图片描述
一个样本
使用Keras框架添加LSTM层时,我的设置是这样的keras.layers.LSTM(10),也就是我现在设定,每个时间步经过LSTM后,得到的中间隐向量是10维(意思是5->10维),13个时间步的数据进去得到的是(13*10)的数据.

每个时间步对应神经元个数(参数个数)一样.也就是算一个LSTM中神经元个数,算一个时间步中参与的神经元个数即可.下面将对LSTM每个计算部分进行神经元分析.

3.神经元分析

3.1忘记门层

在这里插入图片描述

图中公式的是上一个状态的隐向量(已设定隐向量长度为10),为当前状态的输入(长度为5),通过拼接起来，那么的长度就是10+5=15了.和为该层的参数.

该层输出是中间隐向量的长度(10),经过激活前后的长度不变.只需要考虑里面的操作得到10维特征即可.

[ht-1,xt]是(1,15)的向量,与Wf相乘得到(1,10)的向量,根据矩阵相乘规律,得到是(15,10)的矩阵,得到(1,10)矩阵后,与该门层偏置相加,偏置也应该有相同的形状,即bf是(1,10)的矩阵.

即:该层神经元为:
在这里插入图片描述

3.2细胞状态

(1)确定更新信息过程
在这里插入图片描述

可以看到,这里公式和前面的一样的,和都是激活函数,不影响参数个数.

同理这过程的神经元个数是:

在这里插入图片描述

(2)更新过程

在这里插入图片描述

公式中的四个值,均是前面计算得到的结果,因此该过程没有参数需要学习.

3.3输出层

在这里插入图片描述

一样的公式,神经元个数一样.即个数为:
在这里插入图片描述

3.4总结
把公式(1),(2),(3)的神经元加起来,就是该LSTM的神经元个数了.

在这里插入图片描述

其实,我们可以把这个问题一般化,不看这个例子,假设你一个时间步的特征长度是n,经过该LSTM得到的长度是m,这样就可以算出该LSTM层的神经元个数为:
在这里插入图片描述

长短期记忆网络（LSTM）算法详解
东城十三
06-24 784
长短期记忆网络（Long Short-Term Memory, LSTM）是一种特殊的循环神经网络（RNN），旨在解决传统RNN的梯度消失和梯度爆炸问题。LSTM通过引入门控机制，有效地捕捉和利用长时间跨度的依赖关系。LSTM广泛应用于自然语言处理、时间序列预测、语音识别等领域。长短期记忆网络（LSTM）是一种强大且灵活的循环神经网络，特别适用于处理序列数据和时间依赖性任务。通过理解其基本结构和实现方法，可以在自然语言处理、时间序列预测、语音识别等领域取得良好的效果。
lstm网络_LSTM网络理解及其参数计算
weixin_39669638的博客
11-20 1331
前篇文章我们讲过RNN网络，RNN网络可以理解当前任务以前的信息，但是却不能长期记忆，比如在经过4-5个神经元网络的计算之后，包留之前信息的权重就变得很小。之前信息对当前信息的影响就变得很小。这个时候就可以用到LSTM（Long Short Term）网络，相比于RNN网络，他可以更好的记住很久之前我们需要的信息。RNN展开 LSTM 由Hochreiter & Schmidh...
如何计算 LSTM 的参数量
Alan Lee
10-24 7053
理论上的参数量 之前翻译了 Christopher Olah 的那篇著名的 Understanding LSTM Networks，这篇文章对于整体理解 LSTM 很有帮助，但是在理解 LSTM 的参数数量这种细节方面，略有不足。本文就来补充一下，讲讲如何计算 LSTM 的参数数量。 建议阅读本文前先阅读 Understanding LSTM Networks 的原文或我的译文。 首先来回顾下 LSTM。一层 LSTM 如下： 这里的 xtx_txt​ 实际上是一个句子的 embedding（不考虑
LSTM（ Long Short-Term Memory ）神经网络原理学习和计算过程初步分析
最新发布
qq_18937049的博客
03-17 1839
本文通过对LSTM神经网络学习和推导，分析了LSTM网络的计算过程和原理，并绘图总结了LSTM中各个门在运算过程的关系。
LSTM参数计算
bblingbbling的博客
07-13 1701
LSTM参数计算LSTM结构输入输出结构门结构参数计算 LSTM结构 输入输出结构 在n时刻 LSTM的输入有三个： 1.当前时刻网络的输入值Xt； 2.上一时刻LSTM的输出值ht-1； 3.上一时刻的单元状态Ct-1。 LSTM的输出有两个： 1.当前时刻LSTM输出值ht； 2.当前时刻的单元状态Ct。 门结构 门有三类：忘记门，输入门，输出门。 1.忘记门：以一定的概率控制是否遗忘上一层的隐藏细胞状态； 2.输入门：负责处理当前序列位置的输入，更新细胞状态； 3.输出门：决定输出什么。 参
LSTM参数个数计算
热门推荐
taoyafan的博客
09-21 2万+
今天看程序看到了LSTM，原理都懂，但是想看看参数的个数是怎么算出来的，先简单介绍下我的网络前两层： （1）第一层是一个 embedding 层，输出是 100 维的。 （2）第二层是一个 LSTM 层，输出是 512 维的。 LSTM这一层的参数个数是 1255424 个，这一看还有整有零的，好奇怎么算出来的，于是百度搜了下，得到这么一个公式： 设 LSTM 输入维度为 x_dim， 输...
LSTM层参数量计算方法
qq_38642635的博客
12-12 2037
总体来说，假设lstm层的一个时间点上的输入特征长度是n，输出长度是m，那么参数量是4*((n+m)*m+m)。 详细的推导看这篇文章，讲得很详细很明白。
keras lstm参数 中_Keras中的LSTM
weixin_39838362的博客
12-20 586
最近做一个关于用电负荷预测的项目，想用循环神经网络试一下，具有时间特性的数据预测当然非LSTM莫属了啦，但是感觉自己对LSTM的输入和输出不是很明白，就学习顺便整理一下吧。此处属于我个人理解，可能有不正确的地方欢迎大家指正。Cell说到LSTM当然先来一张cell的图了：LSTM结构图图中看起来是三个cell，其实是一个cell在不同时刻上的拼接，也就是说其实是一个cell在不同时刻的状态。我们就...
长序列LSTM收敛困难问题；2） LSTM 参数量大，不能并行计算；3）长依赖的不定性；
06-29
2. **参数量大，不能并行计算**[^5]: LSTM单元具有大量的内部状态和权重矩阵，这增加了模型的复杂性和参数数量。由于LSTM的计算顺序依赖于输入序列，因此在训练过程中不能有效地进行并行化，这限制了其在大规模数据...
小白循环神经网络RNN LSTM 参数数量 门单元 cell units timestep batch_size
persistinlife的专栏
05-24 3479
小白循环神经网络RNN LSTM 参数数量 门单元 cell units timestep batch_size RNN循环神经网络 timestep batch_size LSTM及参数计算 keras中若干个Cell例如LSTMCell 1.RNN循环神经网络 先来解释一下 batch_size timestep 样本数据： 小明爱学习 小王爱学习 小李爱学习 小花爱学习 通常样本数据会以(batch_size, time_step, embedding_size)送入模型，对应的可以是（4
基于长短期神经网络的降雨量预测，基于LSTM的降雨量预测，自编码长短期神经网络
08-05
描述中提到的“基于MATALB编程的自编码长短期神经网络”意味着开发人员使用MATLAB这一科学计算软件来构建了一个包含自编码器的LSTM模型。自编码器是一种无监督学习的神经网络，它的目标是学习输入数据的高效表示，即...
DeepLearning之LSTM模型输入参数：time_step, input_size, batch_size的理解
01-20
1. LSTM模型 输入参数理解 （Long Short-Term Memory） lstm是RNN模型的一种变种模式，增加了输入门，遗忘门，输出门。 LSTM也是在时间序列预测中的常用模型。 小白我也是从这个模型入门来开始机器学习的坑。 LSTM的基本概念与各个门的解释已经有博文写的非常详细：推荐博文:【译】理解LSTM（通俗易懂版） 这篇文章写的非常详细，生动，概念解释的非常清楚。我也是从这个博文里开始理解的。 2. 模型参数 模型的调参是模型训练中非常重要的一部分，调整参数前的重要一步就是要理解参数是什么意思，才能帮助更好的调整参数。 但是发现在一些实战模型将代码直接放在那里，但是基本
LSTM参数个数计算方法
这个人很蓝
04-05 3365
LSTM的计算方式如下（不加偏置）： 可以看到若不加偏置，该LSTM层共有4个权重参数，图中输入的一个timestep的特征大小为3（绿色单元），隐藏层输出大小为2（橙色单元），因此该LSTM层的参数个数为： n=4∗(2+3)∗2=40n=4*(2+3)*2=40n=4∗(2+3)∗2=40 若加上偏置则该LSTM层的参数个数为： n=4∗((2+3)∗2+2)=48n=4*((2+3)*2+...
LSTM模型计算详解
404 Not Found
07-29 2603
本文记录笔者在学习LSTM时的记录，相信读者已经在网上看过许多的LSTM博客与视频，与其他博客不同的是，本文会从数学公式的角度，剖析LSTM模型中各个部分的模型输入输出等维度信息，帮助初学者在公式层面理解LSTM模型，并且给出了相关计算的例子代入股票预测场景，并给出参考代码。
LSTM的详细计算过程
mingo_敏
11-05 1万+
1 LSTM总体框架 LSTM模型是由时刻的输入词，细胞状态 ，临时细胞状态，隐层状态，遗忘门，记忆门，输出门组成。LSTM的计算过程可以概括为，通过对细胞状态中信息遗忘和记忆新的信息使得对后续时刻计算有用的信息得以传递，而无用的信息被丢弃，并在每个时间步都会输出隐层状态，其中遗忘，记忆与输出由通过上个时刻的隐层状态和当前输入计算出来的遗忘门，记忆门，输出门来控制。 图1. LSTM总体框架 2 LSTM计算过程 图2. 计算遗忘门 图3. 计算记忆门和临时细胞状态 图4. 计算当前时刻细胞状态
神经网络学习小记录36——Keras实现LSTM与LSTM参数量详解
Bubbliiiing的学习小课堂
01-08 1万+
神经网络学习小记录36——Keras实现LSTM学习前言什么是LSTM1、LSTM的结构2、LSTM独特的门结构3、LSTM参数量计算a、遗忘门b、输入门c、输出门d、全部参数量在Keras中实现LSTM实现代码 学习前言 我死了我死了我死了！ 什么是LSTM 1、LSTM的结构 我们可以看出，在n时刻，LSTM的输入有三个： 当前时刻网络的输入值Xt； 上一时刻LSTM的输出值ht-1； ...
LSTM(长短时记忆网络)原理、pytorch实现、参数量分析以及应用场景简单总结
HUSTHY的博客
03-10 7970
RNN循环神经网络在解决一些时序问题上是很成功的，但是RNN由于在梯度反向传播的时候，每一步都会乘以一个参数W，当传递的步数很长了，就会导致梯度爆炸和梯度消失——也就是长距离依赖问题。为了解决这个问题，基于RNN就提出了LSTM模型。它采用门机制来实现信息的存储，从而解决了长距离依赖问题。至于LSTM具体是如何缓解了梯度消失和梯度爆炸的问题参考知乎文章——LSTM如何解决梯度消失问...
RNN-LSTM学习(转)
weixin_34411563的博客
05-06 185
http://www.jianshu.com/p/9dc9...http://karpathy.github.io/201... LSTM 有通过精心设计的称作为“门”的结构来去除或者增加信息到细胞状态的能力。门是一种让信息选择式通过的方法。他们包含一个 sigmoid 神经网络层和一个 pointwise 乘法操作。 Sigmoid ...
LSTM计算过程推导
记录学习中的点滴
02-18 4103
LSTM 计算过程推导（1） LSTM简介（2）LSTM笔记（3）LSTM变体（4）LSTM代码 （1） LSTM简介 LSTM是常用的循环神经网络（即带有LSTMcell的循环网络），使用的时候也非常方便，在这里想结合论文和代码对LSTM的计算过程做一下介绍。 （2）LSTM笔记 先放一张图（摘自大牛的笔记） （1）Ct-1 -> Ct (最上面横线，该细胞状态state)只经历了小的线...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值