长短时记忆网络(LSTM)的训练

本文详细介绍了长短时记忆网络(LSTM)的训练过程,包括LSTM训练算法框架、误差项沿时间的反向传递和权重梯度的计算。通过前向计算、反向传播和权重更新,阐述了LSTM训练中的关键步骤和公式推导。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

长短时记忆网络的训练

熟悉我们这个系列文章的同学都清楚,训练部分往往比前向计算部分复杂多了。LSTM的前向计算都这么复杂,那么,可想而知,它的训练算法一定是非常非常复杂的。现在只有做几次深呼吸,再一头扎进公式海洋吧。

LSTM训练算法框架

LSTM的训练算法仍然是反向传播算法,对于这个算法,我们已经非常熟悉了。主要有下面三个步骤:

  1. 前向计算每个神经元的输出值,对于LSTM来说,即 ft it ct ot ht 五个向量的值。计算方法已经在上一节中描述过了。
  2. 反向计算每个神经元的误差项 δ 值。与循环神经网络一样,LSTM误差项的反向传播也是包括两个方向:一个是沿时间的反向传播,即从当前t时刻开始,计算每个时刻的误差项;一个是将误差项向上一层传播。
  3. 根据相应的误差项,计算每个权重的梯度。

关于公式和符号的说明

首先,我们对推导中用到的一些公式、符号做一下必要的说明。

接下来的推导中,我们设定gate的激活函数为sigmoid函数,输出的激活函数为tanh函数。他们的导数分别为:

σ(z)σ(z)tanh(z)tanh(z)=y=11+ez=y(1y)=y=ezezez+ez=1y2(8)(9)(10)(11)

从上面可以看出,sigmoid和tanh函数的导数都是原函数的函数。这样,我们一旦计算原函数的值,就可以用它来计算出导数的值。

LSTM需要学习的参数共有8组,分别是:遗忘门的权重矩阵 Wf 和偏置项 bf 、输入门的权重矩阵 Wi 和偏置项 bi 、输出门的权重矩阵 Wo 和偏置项 bo ,以及计算单元状态的权重矩阵 Wc 和偏置项 bc 。因为权重矩阵的两部分在反向传播中使用不同的公式,因此在后续的推导中,权重矩阵 Wf Wi Wc Wo 都将被写为分开的两个矩阵: Wfh Wfx Wih Wix Woh Wox Wch Wcx

我们解释一下按元素乘 符号。当 作用于两个向量时,运算如下:

ab=a1a2a3...anb1b2b3...bn=a1b1a2b2a3b3...anbn

作用于一个向量和一个矩阵时,运算如下:

aX=a1a2a3...anx11x21x31xn1x12x22x32xn2x13x23x33...xn3............x1nx2nx3nxnn=a1x11a2x21a3x31anxn1a1x12a2x22a3x32anxn2a1x13a2x23a3x33...anxn3............a1x1na2x2na3x3nanxnn(12)(13)

作用于两个矩阵时,两个矩阵对应位置的元素相乘。按元素乘可以在某些情况下简化矩阵和向量运算。例如,当一个对角矩阵右乘一个矩阵时,相当于用对角矩阵的对角线组成的向量按元素乘那个矩阵:

diag[a]X=aX

当一个行向量右乘一个对角矩阵时,相当于这个行向量按元素乘那个矩阵对角线组成的向量:

aTdiag[b]=ab

上面这两点,在我们后续推导中会多次用到。

在t时刻,LSTM的输出值为 ht 。我们定义t时刻的误差项 δt 为:

δt=defEht

注意,和前面几篇文章不同,我们这里假设误差项是损失函数对输出值的导数,而不是对加权输入 netlt 的导数。因为LSTM有四个加权输入,分别对应 ft it ct ot ,我们希望往上一层传递一个误差项而不是四个。但我们仍然需要定义出这四个加权输入,以及他们对应的误差项。

netf,tneti,tnetc~,tneto,tδf,tδi,tδc~,tδo,t=Wf[ht1,xt]+bf=Wfhht1+Wfxxt+bf=Wi[ht1,xt]+
故障诊断技术在各个领域都至关重要,而结合引力搜索算法GSA和长短时记忆网络LSTM进行故障诊断是当前研究的热点。为了帮助你深入理解并实践这一技术,推荐你阅读《引力搜索算法GSA结合LSTM网络实现故障诊断》这一资料。这份资料详细介绍了如何利用GSA算法优化LSTM网络中的参数,从而提高故障诊断的准确率和效率。 参考资源链接:[引力搜索算法GSA结合LSTM网络实现故障诊断](https://wenku.youkuaiyun.com/doc/3ge6pi2cqm?spm=1055.2569.3001.10343) 首先,我们需要明确GSA和LSTM的基本原理。引力搜索算法GSA是一种群体智能优化算法,它模仿了天体间的引力作用来进行全局搜索,适用于复杂的参数优化问题。长短时记忆网络LSTM是一种特殊的循环神经网络,特别擅长捕捉和记忆长距离的时间序列信息,对于时间序列数据的故障诊断尤其有效。 在Matlab中实现GSA优化LSTM参数进行故障诊断的步骤如下: 1. 初始化LSTM网络结构和参数:首先,需要定义LSTM网络的层数、神经元数目等结构参数,以及初始权重和偏置。 2. 构建适应度函数:在GSA中,适应度函数用于评估LSTM参数的质量。根据故障诊断任务的不同,适应度函数可以设计为分类准确率、误差函数等。 3. 实现引力搜索算法GSA:通过编写Matlab代码来模拟天体间的引力作用,不断迭代搜索最优的LSTM参数。算法中需要实现质量计算、引力计算、位置更新等关键步骤。 4. 调用Matlab深度学习工具箱:利用Matlab提供的深度学习工具箱来创建和训练LSTM模型。可以通过设置'Hyperparameters'选项来优化GSA算法给出的参数。 5. 故障诊断与评估:使用优化后的LSTM模型对设备运行数据进行故障诊断,并根据诊断结果对模型进行评估和调整。 为了更好地掌握这一技术,建议通过《引力搜索算法GSA结合LSTM网络实现故障诊断》中的Matlab代码实践,它不仅详细解释了代码逻辑,还提供了案例数据,使得初学者也能快速上手。此外,资料中还提到了参数化编程的概念,这对于提高代码的适应性和复用性有着重要意义。 完成这一实践后,你将能够掌握使用Matlab进行故障诊断的高级技术,为未来的工程实践和科研工作打下坚实的基础。如果希望进一步扩展你的知识领域,可以探索更多的智能优化算法神经网络模型,比如遗传算法(GA)、粒子群优化(PSO)以及卷积神经网络(CNN)等,它们都在故障诊断领域显示出了巨大的潜力和应用价值。 参考资源链接:[引力搜索算法GSA结合LSTM网络实现故障诊断](https://wenku.youkuaiyun.com/doc/3ge6pi2cqm?spm=1055.2569.3001.10343)
评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值