[深度学习] Recurrent Units详细计算过程——LSTM

最新推荐文章于 2025-07-18 15:55:31 发布
最新推荐文章于 2025-07-18 15:55:31 发布
阅读量1.6k 收藏 12
点赞数 4
CC 4.0 BY-SA版权
分类专栏： 深度学习 文章标签： lstm 深度学习
原创文章，未经授权请勿转载。
本文链接：https://blog.youkuaiyun.com/guolindonggld/article/details/79223688
本文深入解析LSTM网络的工作原理，详细介绍了遗忘门、输入门、输出门的计算过程，以及在TensorFlow中使用Keras实现LSTM模型。通过一个二分类问题，展示了LSTM层和Dense层的参数量计算，并给出了训练过程。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

通常一个LSTM只需要指定输入向量 x t x_t xt​和输出向量 h t h_t ht​的维度，向量 C t − 1 C_{t-1} Ct−1​、 C t C_t Ct​、 h t − 1 h_{t-1} ht−1​的维度都跟 h t h_t ht​是一样的。

我们假设 x t x_t xt​维度是2， h t h_t ht​维度为3。

1、计算公式

1.1 遗忘门（Forget Gate）计算

在这里插入图片描述

这里的参数就是 W f W_f Wf​和 b f b_f bf​了。 [ h t − 1 , x t ] [h_{t-1}, x_t] [ht−1​,xt​]，中括号表示向量合并，得到一个5维的向量，所以 W f W_f Wf​是3×5维的矩阵。

所以这里的参数个数3×5+3=18。

σ \sigma σ表示输出一个元素取值范围为(0,1)的向量。

1.2 输入门（Input Gate）计算

在这里插入图片描述

这里的参数就是 W i W_i Wi​和 b i b_i bi​和 W C W_C WC​和 b C b_C bC​ ，类似地，参数个数为18*2=36。

t a n h tanh tanh表示输出一个元素取值范围为(-1,1)的向量。

1.3 输出门（Output Gate）计算

在这里插入图片描述
这里的参数就是 W o W_o Wo​和 b o b_o bo​，类似地，参数个数为18。

1.4 C t C_t Ct​计算

在这里插入图片描述
这里参数量为0。

1.5 h t h_t ht​计算

在这里插入图片描述
这里参数量为0。

2、代码

import numpy as np
import pandas as pd
import tensorflow as tf
from tensorflow import keras
from tensorflow.keras import layers
print(tf.__version__)

model = keras.Sequential()
model.add(layers.LSTM(units=4, input_shape=(5, 3)))
model.add(layers.Dense(2, activation='sigmoid'))
model.summary()

X = np.array([[[0, 2, 3], [4, 5, 6], [7, 8, 9], [10, 11, 12], [13, 14, 15]],
              [[1, 0, 3], [4, 5, 6], [7, 8, 9], [10, 11, 12], [13, 14, 15]],
              [[1, 2, 0], [4, 5, 6], [7, 8, 9], [10, 11, 12], [13, 14, 15]],
              [[1, 2, 3], [0, 5, 6], [7, 8, 9], [10, 11, 12], [13, 14, 15]],
              [[1, 2, 3], [4, 0, 6], [7, 8, 9], [10, 11, 12], [13, 14, 15]],
              [[1, 2, 3], [4, 5, 0], [7, 8, 9], [10, 11, 12], [13, 14, 15]],
              [[1, 2, 3], [4, 5, 6], [0, 8, 9], [10, 11, 12], [13, 14, 15]],
              [[1, 2, 3], [4, 5, 6], [7, 0, 9], [10, 11, 12], [13, 14, 15]],
              [[1, 2, 3], [4, 5, 6], [7, 8, 0], [10, 11, 12], [13, 14, 15]],
              [[1, 2, 3], [4, 5, 6], [7, 8, 9], [0, 11, 12], [13, 14, 15]],
              [[1, 2, 3], [4, 5, 6], [7, 8, 9], [10, 0, 12], [13, 14, 15]],
              [[1, 2, 3], [4, 5, 6], [7, 8, 9], [10, 11, 0], [13, 14, 15]],
              [[1, 2, 3], [4, 5, 6], [7, 8, 9], [10, 11, 12], [0, 14, 15]],
              [[1, 2, 3], [4, 5, 6], [7, 8, 9], [10, 11, 12], [13, 0, 15]],
              [[1, 2, 3], [4, 5, 6], [7, 8, 9], [10, 11, 12], [13, 14, 0]]])

y = np.array([[1, 0],
              [1, 0],
              [1, 0],
              [1, 0],
              [1, 0],
              [1, 0],
              [1, 0],
              [1, 0],
              [0, 1],
              [0, 1],
              [0, 1],
              [0, 1],
              [0, 1],
              [0, 1],
              [0, 1]])

model.compile(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy'])
model.fit(X, y, epochs=100, batch_size=3, verbose=2)

这是一个二分类问题。

输入是[batch_size, 5, 3]，表示有5个Time Steps， x t x_t xt​的维度是3。

LSTM层的 h t h_t ht​维度是4，所以参数量=4×(4×7+4)=128。

输出是一个Dense层，[batch_size, 2]，所以参数量=4×2+2=10。

在这里插入图片描述

Out:

2.5.0


Model: "sequential"
_________________________________________________________________
Layer (type)                 Output Shape              Param #   
=================================================================
lstm (LSTM)                  (None, 4)                 128       
_________________________________________________________________
dense (Dense)                (None, 2)                 10        
=================================================================
Total params: 138
Trainable params: 138
Non-trainable params: 0
_________________________________________________________________


Epoch 1/100
5/5 - 1s - loss: 0.5914 - accuracy: 0.8667
Epoch 2/100
5/5 - 0s - loss: 0.5890 - accuracy: 0.8667
Epoch 3/100
5/5 - 0s - loss: 0.5867 - accuracy: 0.8667
...
Epoch 98/100
5/5 - 0s - loss: 0.4668 - accuracy: 0.9333
Epoch 99/100
5/5 - 0s - loss: 0.4650 - accuracy: 0.9333
Epoch 100/100
5/5 - 0s - loss: 0.4641 - accuracy: 0.9333

3、总结

1、LSTM单元开始时，将向量 h t − 1 h_{t-1} ht−1​和 x t x_t xt​进行拼接，然后进行3个sigmoid和1个tanh网络的计算，这里面就包含了所有参数了，注意的是，LSTM单元是共享的，所以不管有多少个Time Steps，参数量都等于1个LSTM单元的参数量。

2、sigmoid函数输出的是(0,1)的数值，tanh函数输出的是(-1,1)的数值。

3、文章的图片均由PPT制作，可以付费下载。

参考文章
[1] Understanding LSTM Networks
[2] How to get the weights of layer in a keras model for each input
[3] How to check the weights after every epoc in Keras model

Keras深度学习实战（32）——基于LSTM预测股价
盼小辉丶的博客
10-30 9672
股价预测是时间序列预测中最具挑战性的问题之一，研究股价预测问题具有重要的理论意义和应用价值。针对循环神经网络在股价预测中存在的长期依赖等缺点，本文引入了长短时记忆神经网络以提高股价预测的效果。同时，我们把有关公司的新闻标题的文本数据作为模型的输入变量时，发现预测效果更好，因此我们可以把有关公司的新闻标题的文本数据作为一个有效的输入变量。最后，通过利用 Keras 实现了以上两个股价预测模型，并进行了性能分析和对比。
Keras深度学习实战（31）——构建电影推荐系统
盼小辉丶的博客
10-19 8356
推荐系统在用户发现中起主要作用。假设，我们具有数千种不同的产品，每种产品还存在不同的规格、样式等。在这种情况下，对用户进行有关产品的精准推荐将成为增加销量的关键。在本节中，我们将以电影推荐系统为例介绍推荐系统模型构建的方法，从而为用户推荐其真正感兴趣的产品。
长短期记忆网络（LSTM）算法详解
东城十三
06-24 847
长短期记忆网络（Long Short-Term Memory, LSTM）是一种特殊的循环神经网络（RNN），旨在解决传统RNN的梯度消失和梯度爆炸问题。LSTM通过引入门控机制，有效地捕捉和利用长时间跨度的依赖关系。LSTM广泛应用于自然语言处理、时间序列预测、语音识别等领域。长短期记忆网络（LSTM）是一种强大且灵活的循环神经网络，特别适用于处理序列数据和时间依赖性任务。通过理解其基本结构和实现方法，可以在自然语言处理、时间序列预测、语音识别等领域取得良好的效果。
LSTM算法推导及代码.zip
09-09
针对长短期记忆网络（lstm)的算法过程做了详细推导，有具体公式，长达十页，也用matlab对该算法进行了实现，有运行程序和结果图片。
终于把 LSTM 算法搞懂了！！
最新发布
Q2024107的博客
07-18 1211
LSTM（长短期记忆网络）是一种特殊的循环神经网络，通过门控机制解决传统RNN的梯度消失问题。它包含遗忘门、输入门和输出门，能有效捕捉序列数据的长期依赖关系，广泛应用于自然语言处理和时间序列预测。文章以英伟达股票预测为例，展示了使用Python和TensorFlow构建LSTM模型的完整流程，包括数据获取、归一化处理、模型训练和预测可视化。LSTM模型在保持长期记忆和梯度流动方面具有显著优势。
长短期记忆网络（LSTM）和门控循环单元（GRU）算法详解
极光喵的博客
03-07 3788
分别是更新门的权重矩阵和偏置。由于输入门、遗忘门和输出门都是由Sigmoid函数变换得到的，它们的取值范围在0和1之间，因此可以有效地控制信息的流动和梯度的传递。这两个门控单元可以学习在每个时间步如何调整输入信息和上一个时间步的隐藏状态信息的重要程度，某种程度上可以看作有选择性的记忆当前时刻的输入和上一时刻的隐藏状态。总结一下，LSTM（Long Short-Term Memory）网络可以优化梯度传播不稳定的问题，主要是因为它们的设计允许信息在多个时间步长上有效地流动，而不受梯度消失或爆炸的影响。
LSTM数学原理以及代码实现
2303_77275067的博客
01-20 1318
LSTM（Long Short-Term Memory）是一种特殊的循环神经网络（RNN），旨在解决传统 RNN 在长序列训练中的梯度消失和梯度爆炸问题。，包括三个门：输入门（Input Gate）、遗忘门（Forget Gate）和输出门（Output Gate）。这些门通过 Sigmoid 函数（输出范围。（输入门、遗忘门、输出门）来控制信息的流动，从而更好地捕捉长期依赖关系。输入门决定哪些新信息将存储到细胞状态。遗忘门决定哪些信息从细胞状态。输出门决定哪些信息从细胞状态。）来控制信息的流动。
LSTM公式及理解
Geek_of_优快云的博客
01-25 4万+
LSTM的基本结构及推导 这部分内容基本都是来自Step-by-step to LSTM: 解析LSTM神经网络设计原理，只是添加了一些贫僧的想法。 从RNN、记忆说起 LSTM（Long Short Term Memory，长短期记忆，注意这里的长短期，后面会提到是什么意思）的作者是个有点奇怪的人1，他的名字是Jürgen Schmidhuber（发音也挺奇怪）。LSTM的作者很有意思，如果读者...
深度学习实战（三）：利用RNN与LSTM网络实战——LSTM进行情感分析
InitialHeart2021的博客
05-18 534
版权声明：本文为博主原创文章，未经博主允许不得转载。 文章目录一、RNN / LSTM结构介绍二、LSTM情感分类分析2.1 项目介绍2.2 深度学习在自然语言处理中的应用2.3 词向量模型2.4 Word2Vec2.5 Recurrent Neural Networks (RNNs)2.6 Long Short Term Memory Units (LSTMs)三、案例流程四、代码实现4.1 情感数据集处理4.1.1 导入数据 / 加载词向量模型4.1.2 读取数据4.1.3 数据可视化4.1.4 数据预
【深度学习】 基于Keras的Attention机制代码实现及剖析——LSTM+Attention
热门推荐
乐川大佛的博客
12-11 5万+
说明 大部分代码来源于网上，但网上的代码一下子可能难以入门或因版本原因报错，此处整理后进行详细分析。   参考的代码来源1：Attention mechanism Implementation for Keras.网上大部分代码都源于此，直接使用时注意Keras版本，若版本不对应，在merge处会报错，解决办法为：导入Multiply层并将attention_dense.py第17行的： att...
深度学习——LSTM & GRU
Gloria的博客
03-04 2090
一、LSTM神经网络 1、关于传统RNN网络梯度消失的问题 https://blog.youkuaiyun.com/dchen1993/article/details/53885490 http://www.cnetnews.com.cn/2017/1118/3100705.shtml 其中涉及到softmax函数的求导：https://blog.youkuaiyun.com/u014313009/article...
LSTM公式详细推导
05-31
这个是我自己整理的LSTM公式的详细推导，欢迎大家免费下载。需要原始Tex文件和LSTM图的可以直接给我要。若有错误，欢迎指正。
长短时记忆神经网络（LSTM）介绍及公式推导
07-08
长短时记忆网络(Long Short Term Memory Network, LSTM)，它有效地解决了原始循环神经网络(RNN)的缺陷，在语音识别、图片描述、自然语言处理等许多领域中成功应用。本文讲解由三个Gate（input、forget、output）和一个cell 单元组成的基础LSTM 网络。
LSTM原理及算法简介
07-11
网上收集整理的关于LSTM循环神经网络的原理及算法简介，
LSTM算法介绍
weixin_42272768的博客
06-11 4986
。LSTM（Long Short Term Memory），又称为长短时记忆，其核心思想就是在普通的RNN单元中增加了门的概念来控制RNN单元。门可以决定信息通过多少，通过门可以更精准的控制RNN单元的行为。 在LSTM中，有三种类型的门：遗忘门、输入门和输出门。LSTM的算法与这3种门有很大的关系。 LSTM首先扩展了普通的RNN单元。普通的RNN单元只有可以视为短暂记忆的单元h，而LSTM增加了存储过去信息的记忆单元C。上面提到的3个门就是用来处理记忆单元C的。 （1）遗忘门的作用是处理上一状态中的信息
时间序列预测 —— LSTM模型
weixin_39753819的博客
01-31 4681
本文介绍了LSTM模型的理论基础和相关公式，分析了其优缺点，并通过Python实现了单步预测和多步预测的示例。LSTM作为一种强大的深度学习模型，在时间序列预测中展现了出色的性能。在实际应用中，可以根据具体任务的要求进行调整和优化，以达到更好的预测效果。
LSTM学习
小詹子的博客
01-18 727
（1）横向：上面是长期记忆的传播，下面是短期记忆的传播。三、LSTM基本原理–遗忘门、输入门、输出门。（2）纵向：三个门，即三个基本单元。四、循环神经网络的梯度问题。计算比例公式:即计算ft。五、LSTM解决梯度问题。1.记忆细胞内部流程图。
一篇通关之自然语言处理序列破解：使用PyTorch LSTM实现文本中命名实体的高精度识别（知识学习）（Sigmoid、tanh、命名实体识别、BIO标注、逐点乘法）
weixin_56242678的博客
05-25 1480
自然语言处理(Natural Language Processing, NLP)是一门研究计算机如何理解、处理、生成人类语言的学科。近年来，NLP领域急速发展，如何高效地从海量文本中抽取出有用的信息成为了一个迫切的问题，在这个问题中命名实体识别任务引起了广泛关注。命名实体识别（Named Entity Recognition, NER）是指在大规模文本数据中识别出命名实体的过程。
LSTM的详细计算过程
mingo_敏
11-05 1万+
1 LSTM总体框架 LSTM模型是由时刻的输入词，细胞状态 ，临时细胞状态，隐层状态，遗忘门，记忆门，输出门组成。LSTM的计算过程可以概括为，通过对细胞状态中信息遗忘和记忆新的信息使得对后续时刻计算有用的信息得以传递，而无用的信息被丢弃，并在每个时间步都会输出隐层状态，其中遗忘，记忆与输出由通过上个时刻的隐层状态和当前输入计算出来的遗忘门，记忆门，输出门来控制。 图1. LSTM总体框架 2 LSTM计算过程 图2. 计算遗忘门 图3. 计算记忆门和临时细胞状态 图4. 计算当前时刻细胞状态
深度学习异常检测
03-12
### 使用深度学习进行异常检测的方法 #### 深度学习在异常检测中的应用概述 深度学习通过构建复杂的神经网络结构来自动提取数据特征并识别模式，适用于处理高维复杂的数据集。对于时间序列数据分析而言，LSTM (Long Short-Term Memory) 和 GRU (Gated Recurrent Unit) 是两种常用的循环神经网络架构，能够有效捕捉长时间依赖关系。 #### 特征提取与模型融合策略 针对KPI（Key Performance Indicators）异常检测任务，在实际应用场景中可以考虑多种算法相结合的方式提升性能。文献提到一种基于加权投票机制的集成方案，该方案通过对多个基础分类器的结果进行线性组合从而获得更优的整体效果[^1]。具体来说： - **多模型组合**：引入了四种不同的机器学习/深度学习模型来进行初步预测； - **权重分配原则**：依据各子模型的表现为其赋予相应的重要性系数； - **最终决策形成**：计算所有候选类别得票数总和作为最终判定标准； 这种方法不仅提高了系统的鲁棒性和泛化能力，还使得整体精度得到了明显改善——从单独使用的平均AUC值约0.65提高到了经过优化后的0.77以上。 #### Python实现示例代码 下面给出一段简单的Python伪代码用于演示如何利用TensorFlow/Keras框架搭建一个基本的时间序列异常检测系统： ```python import numpy as np from tensorflow.keras.models import Sequential from tensorflow.keras.layers import LSTM, Dense, Dropout def build_lstm_model(input_shape): model = Sequential() # 添加LSTM层 model.add(LSTM(units=50, return_sequences=True, input_shape=input_shape)) model.add(Dropout(0.2)) # 可选：堆叠更多LSTM层或其他类型的RNN单元 # 输出层配置取决于具体的业务需求 model.add(Dense(1)) return model # 假设X_train为训练样本矩阵,y_train为目标标签向量 model = build_lstm_model((timesteps, features)) model.compile(optimizer='adam', loss='mean_squared_error') history = model.fit(X_train, y_train, epochs=epochs, batch_size=batch_size) # 预测阶段省略... ``` 此段程序展示了怎样创建一个多层感知机风格的基础版LSTM网络，并完成了编译过程以便后续调用fit()函数执行参数估计工作。当然这只是一个起点，真实项目里还需要做很多额外的工作比如预处理原始输入、调整超参设置以及评估测试集上的表现等等。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

手撕机

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值