89、循环神经网络（RNN）梯度推导详解

RNN与LSTM梯度推导详解
于 2025-09-21 12:35:51 发布
阅读量30 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 信号与机器学习融合之道 文章标签： RNN LSTM 梯度推导
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/bash7scripter/article/details/152402436

循环神经网络（RNN）梯度推导详解

1. 因果机器学习基础

在机器学习策略中，因果假设并非经常被引入，但它能增强机器学习解决方案的泛化能力。拓展因果机器学习概念的一个关键工具是反事实探究，即设想特定过程 a 导致结果 b 的情况，也就是针对与观察结果相关的假设性回溯干预进行反事实解释。

为实现更广泛的应用，除了采用因果分解公式，还可假设图中每个节点信号的生成方式为：
[x_i = f_i(pa(x_i),u_i)]
其中，随机信号 (u_i) 表示对 (x_i) 的解释性贡献，(f_i(\cdot)) 为确定性函数。通常情况下，噪声项 (u_1,u_2,\cdots,u_i,\cdots) 被假定为联合独立。通过人类行为或学习方法，这些工具可用于分析反事实、干预和观察。结构因果模型（SCM）不仅能像因果有向图模型（DGM）一样灵活计算基于干预的分布，还能通过固定噪声信号的值来实现反事实分析。

2. 标准 RNN 的梯度推导

基于梯度的学习算法的进一步发展需要计算所选成本函数关于网络参数的多个偏导数，这些表达式均运用了链式法则。

  • 关于 (W_o) 和 (b_o) 的梯度 ：
    [
    \begin{align }
    \frac{\partial\overline{J}(\hat{y},y)}{\partial W_o}&=\sum_{k = 1}^{K}\left(\frac{\partial J^{(k)}}{\partial\hat{y}^{(k)}}\right)^T\frac{\partial\hat{y}^{(

订阅专栏 解锁全文 会员秒杀 ¥9.9 重磅福利 超级会员免费看
【NLP】第二章：循环神经网络RNN、DRNN、 BRNN
因为热爱所以坚持
11-16 1422
如果是普通的DNN架构，那DNN是把这个sequence当作6条样本数据，这6条样本数据作为一个输入矩阵，喂入网络，网络的正向传播也是网络每层神经元的参数矩阵和这个6个样本矩阵的转置相乘，然后输出到下一层，下一层的所有神经元参数矩阵再和这个输出相乘，继续输出到它的下一层，直到最后的输出层，输出的数据矩阵再转置一下显示出来。我画的图就形象太多了，你就立马理解了我前面说的是把6个一模一样的架构竖着排，然后第一个样本从垂直方向的第一层进入，第二个样本从垂直方向的第二层进入，，，依次类推，开始正向传播。
循环神经网络 (RNN) 原理与代码实例讲解
AI天才研究院
07-14 1304
循环神经网络 (RNN) 原理与代码实例讲解 1. 背景介绍 1.1 问题的由来 在处理序列数据时，如文本、语音或时间序列数据，传统的方法如卷积神经网络（CNN）和深度神经网络（DNN）往往难以捕捉到序列间的依赖关系。例如，文本中的句子
循环神经网络（RNN）原理详解
2401_86968005的博客
02-25 1614
RNN通过循环连接实现了对序列数据的建模，其核心在于隐藏状态的跨时间步传递。虽然存在梯度传播的挑战，但仍是时序数据处理的基础架构，后续发展的LSTM、GRU等改进模型大幅提升了实际应用效果。
BPTT算法详解：深入探究循环神经网络（RNN）中的梯度计算【原理理解】
qq_22841387的博客
05-29 7807
在深度学习领域中，我们经常处理的是独立同分布（i.i.d）的数据，比如图像分类、文本生成等任务，其中每个样本之间相互独立。然而，在现实生活中，许多数据具有时序结构，例如语言模型中的单词序列、股票价格随时间的变化、视频中的帧等。对于这类具有时序关系的数据，传统的深度学习模型可能无法很好地捕捉到其内在的 时间相关性 。为了解决这一问题，循环神经网络（Recurrent Neural Network, RNN）被广泛应用于处理时序数据。首先，让我们来了解一下常见的循环神经网络结构。在 RNN 中，隐藏状态会随着时
深度学习（三）：详解循环神经网络RNN，含公式推导
热门推荐
ChihkAnchor的博客
04-29 1万+
循环神经网络简介 循环神经网络（recurrent neural network, RNN）源自1982年由Saratha Sathasivam提出的霍普菲尔德网络。霍普菲尔德网络因为实现困难，在提出时并且没有被合适地应用。该网络结构也于1986年后被全连接神经网络以及一些传统的机器学习算法所取代。然而： 传统的机器学习算法非常依赖于人工提取的特征，使得基于传统机器学习的图像识别、语音识别以及...
循环神经网络(RNN)Python实现详解
spinage的博客
07-10 376
本文详细讲解了循环神经网络（RNN）的Python实现及其数学原理。首先介绍了RNN的核心公式：隐层状态更新公式$s_t = g_1(Ux_t + Ws_{t-1} + b_a)$和输出层公式$o_t = g_2(Vs_t + b_y)$。随后提供了完整的Python代码实现，包括softmax函数、单个RNN单元前向传播（rnn_cell_forward）和完整RNN前向传播（rnn_forward）的实现，每段代码都对应了相应数学公式。代码还实现了反向传播过程（rnn_backward和rnn_cell
（一）循环神经网络详解RNN
qq_34184505的博客
02-08 2572
循环神经网络 RNN 的基本结构是 BP 网络的结构，也是有输入层，隐藏层和输出层。只不过在 RNN 中隐藏层的输出不仅可以传到输出层，并且还可以传给下一个时刻的隐藏层，如下图所示：RNN 的结构可以展开为右边的结构，其中xxx为输入信号，xt−1x_{t-1}xt−1​为t-1时刻的输入信号，xtx_{t}xt​为 t 时刻的输入信号，xt1x_{t +1}xt1​为t1{t+1}t1时刻的输入信号。
动手学深度学习—循环神经网络RNN详解
oceancoco的博客
03-01 908
循环神经网络 1. 序列模型 1.1 马尔可夫模型 假设已知τττ个序列预测下一个或下几个数据（假设当前数据只跟前τττ个数据有关） 1.2 潜变量模型 假设一个潜变量h hth_tht​来表示过去信息ht=f(x1,x2,...,xt−1)h_t=f(x_1,x_2,...,x_{t-1})ht​=f(x1​,x2​,...,xt−1​)这样xt=p(xt∣ht)x_t=p(x_t|h_t)xt​=p(xt​∣ht​) 2. 文本预处理 解析文本的步骤： 1.将文本作为字符串加载到内存中 2.将字
循环神经网络（rnn）讲解
javaisnotgood的博客
06-12 3387
•    循环神经网络（rnn）•  RNN简介•  Rnn基本结构•  双向rnn基本结构•  rnn梯度消失问题•  RNN应用举例 •    RNN简介•    循环神经网络（RNN）能够从序列和时序数据中学习特征和长期依赖关系。•   循环神经网络（RNN）近几年在语言模型与文本生成，机器翻译，语音识别，图像描述生成等领域都取得了不错的效果。     •  Rnn基本结构•    回顾一下...
循环神经网络（RNN）深度解析
qq_43664407的博客
05-17 795
​​结构本质​​：通过时间步循环传递隐藏状态，建模序列依赖​​核心缺陷​​：基础RNN存在梯度消失/爆炸，需LSTM/GRU优化​​工程价值​​：语音、文本等时序任务的基础架构%20b_h%29%20b_y%29%20b_i%29%20b_f%29%20b_z%29%20b_r%29%20b_h%29%20b_y。
循环神经网络（RNN）与长短期记忆网络（LSTM）详解
2402_84226753的博客
04-25 1761
循环神经网络（RNN）与长短期记忆网络（LSTM）详解
Lua非空判断方法[源码]
11-24
本文详细介绍了在Lua中进行非空判断的几种方法，特别是针对table类型的变量。首先，文章指出了直接对nil值进行索引会导致异常的问题，并给出了一个简单的例子来说明如何避免这种情况。接着，文章讨论了如何判断一个table是否为空，指出不能简单地使用`#table == 0`的方式，而是应该使用`next(t) == nil`的方法。此外，文章还提到了`next`指令在LuaJIT中的优化问题，建议在非必要情况下少用。最后，文章简要介绍了如何判断一个字符串是否全部由空格组成，使用了正则匹配的方法。这些内容对于Lua开发者来说非常实用，能够帮助他们避免常见的错误。
JS表格转Excel实现[可运行源码]
11-24
该文章详细介绍了如何使用JavaScript将HTML表格数据导出为Excel文件。内容涵盖了针对不同浏览器的兼容性处理，包括IE和非IE浏览器的不同实现方式。对于IE浏览器，使用ActiveXObject进行导出；对于非IE浏览器，则通过base64编码和数据URI方案实现。文章还提供了完整的代码示例，包括表格数据的处理、格式化和导出功能，支持文本和图片类型的数据导出。
图片转bin文件存储[项目代码]
11-24
本文介绍了在OpenCV项目中如何将大量图片数据转换为二进制（bin）文件进行高效存储和读取的方法。作者在项目中遇到需要处理大量图片数据的问题，尝试了多种格式（如.mat、.txt、.yml）后发现效率较低。通过使用二进制文件存储，显著提升了读写速度。文章详细展示了使用OpenCV将图片写入二进制文件的代码示例，以及从二进制文件读取图片数据的实现方法。虽然该方法需要提前知道图片的尺寸和数量，但读写速度极快，适合处理大量图片数据。作者还提到可以通过换行符或终止符优化读取过程，但未深入探讨。
ROS视觉处理与色彩识别[项目源码]
11-24
本文详细介绍了在ROS环境下进行视觉处理的基础步骤，特别是针对色彩识别的实现方法。内容涵盖了从摄像头驱动的安装与配置（如usb_cam驱动和image_view工具的使用），到创建功能包和编写图像处理节点（包括RGB图像回调函数、HSV色彩空间转换、二值化处理及形态学操作）。此外，还演示了如何在仿真环境中获取图像，并通过OpenCV实现红色和绿色物体的识别与追踪。最后，文章提供了完整的代码示例和编译运行步骤，帮助读者快速上手ROS视觉处理项目。
Anaconda安装与使用指南[项目源码]
11-24
本文详细介绍了在Anaconda环境下安装和使用jupyter及numpy的步骤。首先，指导用户如何安装Anaconda并创建虚拟环境，然后详细说明了如何在虚拟环境中安装jupyter和numpy。接着，文章提供了多个numpy的练习示例，包括创建零向量、矩阵操作、归一化等。此外，还介绍了如何在Jupyter中完成numpy、pandas和matplotlib的例题，涵盖了从基础操作到实际应用的多个方面。最后，文章总结了实验过程中的经验，特别是在使用国内镜像源后下载速度的提升。
【动静障碍物】基于JPS算法（改进A）全局路径规划与DWA动态窗口局部避障的机器人自主导航混合控制算法（Matlab代码实现）
11-24
【动静障碍物】基于JPS算法（改进A）全局路径规划与DWA动态窗口局部避障的机器人自主导航混合控制算法（Matlab代码实现）内容概要：本文介绍了一种结合改进A*算法的JPS（跳跃点搜索）全局路径规划与DWA（动态窗口法）局部避障的混合控制算法，用于机器人在动静态障碍物环境下的自主导航。该算法通过JPS优化全局路径搜索效率，提升路径规划速度，并结合DWA实现实时动态避障，增强了机器人在复杂动态环境中的适应性和安全性。整个系统在Matlab平台上进行了代码实现与仿真验证，展示了良好的路径规划效果与避障性能。; 适合人群：具备一定机器人学、自动控制或路径规划基础知识的研究生、科研人员及从事智能机器人开发的工程技术人员。; 使用场景及目标：①应用于移动机器人在静态与动态障碍共存环境中的自主导航任务；②为研究高效全局规划与实时局部避障的融合策略提供技术参考与实现案例；③支持Matlab仿真环境下的算法验证与优化。; 阅读建议：建议读者结合Matlab代码深入理解JPS与DWA的集成逻辑，重点关注算法在路径最优性、计算效率与避障实时性之间的平衡设计，可进一步扩展至多机器人系统或复杂地形场景的应用研究。
Lua中loadstring应用[源码]
最新发布
11-24
本文介绍了在Lua编程中使用loadstring函数解析字符串公式的方法，特别是在游戏开发中的应用。通过示例代码展示了如何解析包含动态变量的字符串，如属性键、操作符和技能等级等，并动态计算其值。文章详细说明了如何利用loadstring将字符串转换为可执行的Lua代码，并处理复杂的公式解析，如计算buff持续时间和属性加成。这对于需要动态处理游戏内文本和公式的开发者具有实用价值。
反向传播算法怎样在循环神经网络RNN中使用？
08-28
<think>我们正在讨论循环神经网络（RNN）中的反向传播算法，特别是BPTT（Backpropagation Through Time）。用户要求了解反向传播算法在RNN中如何实现参数更新。根据引用内容，BPTT是RNN中用于训练的特殊反向传播技术，它通过时间展开RNN，将其视为一个深度前馈网络，然后应用反向传播计算梯度并更新参数。 核心要点： 1. RNN的参数在时间步之间共享（即U, W, V, b, c等参数在所有时间步都是相同的）。 2. BPTT的基本思想是将RNN按时间序列展开，形成一个虚拟的深层网络，每一层对应一个时间步。 3. 在展开的网络中，使用标准的反向传播算法计算梯度，但由于参数共享，我们需要将所有时间步上相同参数的梯度累加起来，然后进行更新。 步骤： 1. 前向传播：从时间t=1到t=T（序列长度）进行前向计算，保存每个时间步的隐藏状态和输出。 2. 计算损失：通常是对每个时间步的损失求和（如交叉熵损失）。 3. 反向传播：从t=T开始，反向计算每个时间步的梯度，一直回溯到t=1。 4. 梯度累加：由于参数共享，每个时间步的梯度都会贡献给相同的参数，因此需要将每个时间步的梯度累加。 5. 参数更新：使用累加的梯度（通常也会除以序列长度或批次大小进行归一化）来更新参数。 数学推导： 考虑一个简单的RNN模型，其结构如下： - 输入：$x_t$（时间步t的输入向量） - 隐藏状态：$h_t = \tanh(W_{xh} x_t + W_{hh} h_{t-1} + b_h)$ - 输出：$y_t = \text{softmax}(W_{hy} h_t + b_y)$ 损失函数：假设我们使用交叉熵损失，对于每个时间步的损失为$L_t = - \sum y_{t, \text{true}} \log y_{t, \text{pred}}$，总损失$L = \sum_{t=1}^T L_t$。 在反向传播中，我们需要计算损失函数对参数$W_{xh}, W_{hh}, W_{hy}, b_h, b_y$的梯度。 以$W_{hh}$为例，由于它在每个时间步都被使用，因此梯度计算为： $$\frac{\partial L}{\partial W_{hh}} = \sum_{t=1}^T \frac{\partial L}{\partial h_t} \frac{\partial h_t}{\partial W_{hh}}$$ 但是注意，$h_t$不仅依赖于当前时间步的$W_{hh}$，还通过$h_{t-1}$依赖于之前所有时间步的$W_{hh}$（因为$h_{t-1}$也是$W_{hh}$的函数）。因此，我们需要使用链式法则沿着时间展开。 具体地，对于$h_t$，它的梯度来自两部分： - 直接来自当前时间步的输出层（通过$y_t$） - 来自下一个时间步的隐藏状态（因为$h_t$会影响到$h_{t+1}$） 因此，在反向传播时，从最后一个时间步T开始，我们计算损失对$h_T$的梯度，然后传递到$h_{T-1}$，依此类推直到$h_1$。 定义： - $\delta_t = \frac{\partial L}{\partial h_t}$ 表示损失对t时刻隐藏状态的梯度。 那么，$\delta_t$的计算包括： - 来自当前时间步的输出层：$\frac{\partial L_t}{\partial h_t} = (y_t - \text{true\_label}_t) \cdot W_{hy}^\top$（这里假设是分类任务，softmax输出） - 来自下一个时间步的隐藏状态：$\frac{\partial L}{\partial h_{t+1}} \cdot \frac{\partial h_{t+1}}{\partial h_t} = \delta_{t+1} \cdot W_{hh}^\top \cdot (1 - h_t^2)$ （因为$h_{t+1}$中使用了$h_t$，且激活函数是tanh，其导数为$1-\tanh^2$） 所以： $$\delta_t = W_{hy}^\top (y_t - \text{true\_label}_t) + W_{hh}^\top \delta_{t+1} \cdot (1 - h_t^2)$$ 注意：对于最后一个时间步T，没有来自未来的梯度，所以$\delta_T = W_{hy}^\top (y_T - \text{true\_label}_T)$。 然后，对于参数$W_{hh}$，梯度为： $$\frac{\partial L}{\partial W_{hh}} = \sum_{t=1}^T \delta_t \cdot (1 - h_t^2) \cdot h_{t-1}^\top$$ 其中，$h_{t-1}$是上一时刻的隐藏状态（注意：在t=1时，$h_0$通常是初始化为0向量）。 同样，对于其他参数，如$W_{xh}$： $$\frac{\partial L}{\partial W_{xh}} = \sum_{t=1}^T \delta_t \cdot (1 - h_t^2) \cdot x_t^\top$$ 对于偏置$b_h$： $$\frac{\partial L}{\partial b_h} = \sum_{t=1}^T \delta_t \cdot (1 - h_t^2)$$ 对于输出层的参数$W_{hy}$和$b_y$，由于它们不依赖于时间（每个时间步独立），所以梯度计算更直接： $$\frac{\partial L}{\partial W_{hy}} = \sum_{t=1}^T (y_t - \text{true\_label}_t) \cdot h_t^\top$$ $$\frac{\partial L}{\partial b_y} = \sum_{t=1}^T (y_t - \text{true\_label}_t)$$ 最后，使用梯度下降更新参数： $$W = W - \eta \frac{\partial L}{\partial W}$$ 其中$\eta$是学习率。 注意：在实际实现中，由于序列可能很长，BPTT可能会遇到梯度消失或爆炸问题。因此，通常使用截断的BPTT（Truncated BPTT），即只反向传播固定步数（例如，只回传k步）。 总结步骤： 1. 前向传播：计算并保存每个时间步的输入、隐藏状态、输出。 2. 计算每个时间步的损失，并累加得到总损失。 3. 反向传播：从最后一个时间步开始，计算损失对隐藏状态的梯度（$\delta_t$），并反向传递，同时累加各个参数的梯度。 4. 使用累加的梯度更新参数。 注意：参数共享意味着在更新时，所有时间步的相同参数使用同一个梯度（即累加后的梯度）进行更新。 引用说明： 根据引用[1][2][3]，BPTT是RNN训练中使用的特殊反向传播算法，通过时间展开，将RNN视为深度网络，然后进行反向传播，同时参数共享是RNN的特点，因此梯度更新时需要对所有时间步的梯度进行累加[^1][^2][^3]。 下面，我们将按照上述思路组织回答。</think>### 循环神经网络（RNN）中的反向传播算法（BPTT）实现详解 循环神经网络通过**时间展开结构**和**参数共享机制**实现序列建模，其反向传播采用**通过时间反向传播（BPTT）算法**，核心是通过时间维度展开网络结构并计算梯度。以下是具体实现步骤： --- #### 一、BPTT 算法核心原理 1. **时间展开结构** 将长度为 $T$ 的序列展开为 $T$ 层前馈网络，每层对应一个时间步： $$ \text{RNN} \rightarrow \underbrace{\text{NN}_1 \rightarrow \text{NN}_2 \rightarrow \cdots \rightarrow \text{NN}_T}_{\text{时间展开}} $$ 其中每层共享相同参数 $(W_{xh}, W_{hh}, W_{hy}, b_h, b_y)$[^1][^2]。 2. **梯度传播路径** 损失函数 $L$ 的梯度需沿时间反向传播： $$ \frac{\partial L}{\partial \theta} = \sum_{t=1}^T \frac{\partial L_t}{\partial \theta} \quad (\theta \in \{W_{xh}, W_{hh}, \cdots\}) $$ 梯度需从 $t=T$ 逐层传递至 $t=1$[^2][^3]。 --- #### 二、BPTT 具体实现步骤 ##### 1. 前向传播（保存中间状态） ```python # 初始化隐藏状态 h_0 = np.zeros(hidden_size) for t in range(1, T+1): # 计算当前隐藏状态 h_t = np.tanh(W_{xh} @ x_t + W_{hh} @ h_{t-1} + b_h) # 计算输出 y_t = softmax(W_{hy} @ h_t + b_y) # 保存 h_t 用于反向传播 cache[t] = (x_t, h_t, h_{t-1}) ``` ##### 2. 反向传播（梯度计算） 以参数 $W_{hh}$ 为例，梯度计算需考虑时间依赖： $$ \frac{\partial L}{\partial W_{hh}} = \sum_{t=1}^T \frac{\partial L}{\partial h_t} \frac{\partial h_t}{\partial W_{hh}} + \frac{\partial L}{\partial h_t} \frac{\partial h_t}{\partial h_{t-1}} \frac{\partial h_{t-1}}{\partial W_{hh}} + \cdots $$ 具体实现： ```python # 初始化梯度 dW_{hh} = np.zeros_like(W_{hh}) dh_next = np.zeros_like(h_T) # 从最后时间步开始 for t in reversed(range(1, T+1)): x_t, h_t, h_{t-1} = cache[t] # 计算当前 h_t 的梯度 (来自输出层 + 下一时间步) dh_t = dL/dy_t @ W_{hy} * (1 - h_t**2) + dh_next # 累积 W_{hh} 梯度 dW_{hh} += dh_t @ h_{t-1}.T # 计算传递到前一时间步的梯度 dh_next = dh_t @ W_{hh} * (1 - h_{t-1}**2) ``` ##### 3. 参数更新（梯度累加） 所有时间步共享参数，梯度需累加后统一更新： $$ W_{hh} \leftarrow W_{hh} - \eta \cdot \frac{1}{T} \sum_{t=1}^T \frac{\partial L_t}{\partial W_{hh}} $$ 其中 $\eta$ 为学习率[^2][^3]。 --- #### 三、BPTT 的数学推导（以 $W_{hh}$ 为例） 1. **隐藏状态梯度**： $$ \delta_t = \frac{\partial L}{\partial h_t} = \underbrace{\frac{\partial L}{\partial y_t} \frac{\partial y_t}{\partial h_t}}_{\text{输出层梯度}} + \underbrace{\frac{\partial L}{\partial h_{t+1}} \frac{\partial h_{t+1}}{\partial h_t}}_{\text{时间传播}} $$ 2. **参数梯度分解**： $$ \frac{\partial L}{\partial W_{hh}} = \sum_{k=1}^T \sum_{t=k}^T \frac{\partial L}{\partial h_t} \frac{\partial h_t}{\partial h_k} \frac{\partial h_k}{\partial W_{hh}} $$ 3. **梯度计算通式**： $$ \frac{\partial h_t}{\partial h_k} = \prod_{j=k}^{t-1} \left( \frac{\partial h_{j+1}}{\partial h_j} \right) = \prod_{j=k}^{t-1} W_{hh}^\top \cdot \text{diag}(1 - h_j^2) $$ 其中 $\text{diag}(1 - h_j^2)$ 是 $\tanh$ 激活函数的 Jacobian 矩阵[^1][^3]。 --- #### 四、BPTT 的优化挑战 | 问题 | 原因 | 解决方案 | |---------------------|----------------------------------------------------------------------|------------------------------| | **梯度消失** | 长期依赖中 $\prod_{j=k}^{t-1} \| \frac{\partial h_{j+1}}{\partial h_j} \| \ll 1$ | LSTM/GRU 门控机制[^3] | | **梯度爆炸** | $\prod \| \cdot \| \gg 1$ | 梯度裁剪（Gradient Clipping）| | **计算复杂度高** | $O(T^2)$ 时间复杂度和 $O(T)$ 空间复杂度 | 截断 BPTT（Truncated BPTT） | > **截断 BPTT 示例**：仅回传 $k$ 步梯度 > $$ \frac{\partial \tilde{L}}{\partial W_{hh}} = \sum_{t=\max(1,T-k)}^T \frac{\partial L_t}{\partial W_{hh}} $$ --- ### 总结 BPTT 算法通过时间展开将 RNN 转化为虚拟深度网络，在反向传播时： 1. **按时间逆序计算梯度**：从 $t=T$ 到 $t=1$ 逐层回溯 2. **梯度累加更新**：共享参数需聚合所有时间步梯度 3. **处理时序依赖**：通过 $\frac{\partial h_t}{\partial h_{t-1}}$ 传递历史信息[^1][^2][^3] 该算法虽存在梯度问题，但为 RNN 训练提供了理论基础，后续改进模型（如 LSTM）通过门控机制优化了梯度流动。 ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值