深度学习【5】循环神经网络（RNN）反向传播算法（BPTT）理解

最新推荐文章于 2025-11-01 11:06:48 发布
原创 最新推荐文章于 2025-11-01 11:06:48 发布 · 3w 阅读 · 29 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#DL #神经网络 #算法 #RNN #BPTT

本文介绍了循环神经网络RNN的前向传播算法及其与传统BP网络的区别，并详细解析了BPTT（Backpropagation Through Time）反向传播算法的实现过程，强调了在时间序列上的误差如何通过链式法则传播，以及参数更新的特点。

http://blog.youkuaiyun.com/linmingan/article/details/50958304

循环神经网络的反向传播算法其实只是BP算法的一个简单变体而已。

首先我们先看看循环神经网络的前向传播算法：

需要注意的是，该RNN中前一时刻到当前时刻只有一个权重矩阵，该权重矩阵与时间并没有什么关系。整个前向传播算法与BP网络的前向传播算法的差别是多了一个前一时刻隐藏层的信息而已。在我们这边的前向传播算法可能与大家平时看到的会有点出入，因为这个前向传播算法将传播过程中的各个阶段都拆分开来表示。在进入激活函数前先用额外的两个变量表示，分别是进入隐藏层激活函数e前的和进入输出层激活函数g前的。进行这样的拆分是为了更好的实现反向传播算法，即链式求导法则。

RNN的前向传播算法是以时间的推移进行的，其实就是一些时序上的数据，比如音频中分帧后的得到的一系列的音频信号帧。RNN的输入数据与其他神经网络如DNN的输入数据不同的是，RNN的输入数据样本不能打

最低0.47元/天 解锁文章
循环神经网络（RNN）的原理及反向传播（BPTT）算法
QromMatlab的博客
09-22 1364
其中，(x_t)表示当前时间步的输入，(h_t)表示当前时间步的隐含层状态，(y_t)表示当前时间步的输出。(W_{xh})和(W_{hh})分别表示输入到隐含层和隐含层到隐含层自身的权重矩阵，(W_{hy})表示隐含层到输出层的权重矩阵，(\sigma)表示激活函数（如sigmoid函数或tanh函数）。以上是关于循环神经网络（RNN）的原理以及反向传播（BPTT）算法的介绍，并提供了一个简单的用Python实现的RNN训练示例。通过深入理解RNN的原理和应用，有助于我们更好地进行序列数据的建模和预测。
循环神经网络（RNN）原理及BPTT算法
L
03-31 1673
因循环神经网络基于ANN之上，理解ANN有助于理解RNN，所以阅读此文，建议先阅读。
BPTT算法详解：深入探究循环神经网络（RNN）中的梯度计算【原理理解】
qq_22841387的博客
05-29 8053
在深度学习领域中，我们经常处理的是独立同分布（i.i.d）的数据，比如图像分类、文本生成等任务，其中每个样本之间相互独立。然而，在现实生活中，许多数据具有时序结构，例如语言模型中的单词序列、股票价格随时间的变化、视频中的帧等。对于这类具有时序关系的数据，传统的深度学习模型可能无法很好地捕捉到其内在的 时间相关性 。为了解决这一问题，循环神经网络（Recurrent Neural Network, RNN）被广泛应用于处理时序数据。首先，让我们来了解一下常见的循环神经网络结构。在 RNN 中，隐藏状态会随着时
深度学习中的SoftMax
最新发布
S1531585571的博客
11-01 1082
Softmax函数摘要 Softmax函数是深度学习中处理多分类问题的关键工具，它将神经网络的原始输出（logits）转换为概率分布。其核心价值在于：1）提供直观的概率解释，突出最大得分；2）便于与交叉熵损失结合进行模型训练。相比Sigmoid函数（仅适用于二分类）和Argmax函数（仅返回索引），Softmax能同时输出所有类别的概率。 工作原理：通过指数化操作消除负值并放大差距，再归一化为总和为1的概率分布。为防止数值不稳定（上溢/下溢），实际计算时会先减去最大值。 优缺点：优势包括输出标准化、数学性质
（二）RNN 的 反向传播算法详细推导
大风车
09-27 7262
在反向传播算法理解一文中，大体讲了反向传播算法的大体思想和优势，这篇文章拿最简单的RNN网络推导反向传播算法。 计算图和计算公式 我们拿最具代表性的如下RNN网络图简单推导。 上图是一张计算图。为方便公式推导，我们把公式写出来。对于每一步 t ，都是如下的计算过程。 每一步的损失函数，总的损失函数 L 如下： 在每一步 t 中，是向量形式变量，是向量形式变量，是向量形式变量，是向量形式变量，是向量形式变量；W 是矩阵形式变量，V 是矩阵形式变量，U 是矩阵形式变量（注...
RNN的反向传播及RNN的梯度消失与梯度爆炸
lzw刘仔很忙的博客
01-25 3901
这篇文章讲一下RNN的反向传播算法BPTT，及RNN梯度消失和梯度爆炸的原因。 BPTT RNN的反向传播，也称为基于时间的反向传播算法BPTT(back propagation through time)。对所有参数求损失函数的偏导，并不断调整这些参数使得损失函数变得尽可能小。 先贴出RNN的结构图以供观赏，下面讲的都是图中的单层单向RNN： ...
循环神经网络RNN详解 反向传播公式推导+代码（十分详细）
MrTriste的博客
01-29 1万+
部分内容引用自https://zybuluo.com/hanbingtao/note/541458 1. Why RNN 循环神经网络 RNN为语言模型来建模，语言模型就是：给定一个一句话前面的部分，预测接下来最有可能的一个词是什么。 RNN理论上可以往前看(往后看)任意多个词。 2. RNN结构 2.1 最基本的结构： xt−1,xt,xt+1" role
循环神经网络(RNN)模型与前向反向传播算法
zdy0_2004的专栏
03-06 3229
http://www.cnblogs.com/pinard/p/6509630.html 　　　　在前面我们讲到了DNN，以及DNN的特例CNN的模型和前向反向传播算法，这些算法都是前向反馈的，模型的输出和模型本身没有关联关系。今天我们就讨论另一类输出和模型间有反馈的神经网络：循环神经网络(Recurrent Neural Networks ，以下简称RNN)，它广泛的用于自
RNN与其反向传播算法——BPTT(Backward Propogation Through Time)的详细推导
qq_42734797的博客
12-20 2638
RNN及其变种是永恒的经典，有必要认真学习。遂推导了一下RNN的反向传播算法(BPTT)，记录在此。
DeepLearning深度学习教程_第六章_循环神经网络(RNN).pdf
08-23
Deep Learning 深度学习之循环神经网络（RNN） 循环神经网络（RNN）是一种特殊类型的神经网络，它擅长于处理序列数据，例如时间序列数据、自然语言处理等。RNN 的出现是为了解决传统神经网络无法处理序列数据的问题...
循环神经网络 - 参数学习之随时间反向传播算法
分享技术人生的学习笔记和过往心得，与志同道合者共同进步
04-08 1500
BPTT 算法将循环神经网络看作一个展开的多层前馈网络，其中“每一层”对 应循环网络中的“每个时刻”。这样，循环神经网络就可以按照前馈网络中的反向传播算法计算参数梯度。在“展开”的前馈网络中，所有层的参数是共享的，因此参数的真实梯度是所有“展开层”的参数梯度之和。
循环神经网络RNN的反向传播
wd18508423052的博客
04-14 1739
1. 前言 本文主要是针对吴恩达的RNN课程的部分补充说明，吴恩达在反向传播的过程上没有细致的讲解，对我自己的学习造成了有一定的困惑，因此这里梳理一下RNN的前向反向传播，帮助自己更好的理解。 这里的符号主要采用吴恩达课程中的符号，下面先对符号进行说明。 右上标尖括号表示第个时间时间序列的对象。例如，表示第个时间序列的输入 右下标表示一个向量...
循环神经网络的反向传播推导
不负长风
01-08 672
循环神经网络之前向反向传播算法
谓之小一
11-04 1937
前面我们已经介绍了深度神经网络和卷积神经网络，这些算法都是前向反馈，模型的输出和模型本身没有关联关系。今天我们学习输出和模型间有反馈的神经网络，循环神经网络(Recurrent Neual Networks)，其广泛应用于自然语言处理中的语音识别，书写识别和机器翻译等领域。 1.RNN简介 前面介绍的DNN和CNN之中，训练样本的输入和输出都是确定的。但对于训练样本输入是连续的序列，训练样本长度不...
深度学习入门（五十九）循环神经网络——通过时间反向传播
ElysiumAILab
12-11 1156
1 循环神经网络的梯度分析 1.1 完全计算 1.2 截断时间步 1.3 随机截断 1.4 比较策略 2 通过时间反向传播的细节 3 小结
神经网络算法——反向传播 Back Propagation
热门推荐
不要给自己设限，尝试更多可能（思所向 皆可往）
03-06 2万+
本文将从反向传播的本质、反向传播的原理、反向传播的案例三个方面，详细介绍反向传播（Back Propagation）。
反向传播算法(过程及公式推导)_循环神经网络及反向过程推导
weixin_39840606的博客
12-10 1063
本文着重讨论循环神经网络（Recurrent Neural Network，RNN）的数学推导过程（主要是反向过程），不会对RNN做全面的介绍，其特点，缺点假定读者已经了解，并且假定读者已经掌握全连接（FC）神经网络的原理和相关函数的求导。当然，不清楚也没关系，下面的文章了解一下：Numpy实现神经网络框架(1)Numpy实现神经网络框架(2)——梯度下降、反向传播Numpy实现神经网络框架(3)...
循环神经网络 - 通过时间反向传播
yingzi的技术博客
09-10 664
它要求我们将循环神经网络的计算图一次展开一个时间步，以获得模型变量和参数之间的依赖关系。这在计算上是不可行的（它需要的时间和内存都太多了），并且还需要超过1000个矩阵的乘积才能得到非常难以捉摸的梯度。这个过程充满了计算与统计的不确定性。因此，模型需要的正是截断的通过时间反向传播⽅法所具备的轻度正则化效果。在本节中，我们将更深入地探讨序列模型反向传播的细节，以及相关的数学原理。为了更好地理解此问题，本节将回顾序列模型梯度的计算方式，它的工作原理没有上面新概念，毕竟我们使用的任然是链式法则来计算梯度。
反向传播算法怎样在循环神经网络RNN中使用？
08-28
<think>我们正在讨论循环神经网络（RNN）中的反向传播算法，特别是BPTT（Backpropagation Through Time）。用户要求了解反向传播算法在RNN中如何实现参数更新。根据引用内容，BPTT是RNN中用于训练的特殊反向传播技术，它通过时间展开RNN，将其视为一个深度前馈网络，然后应用反向传播计算梯度并更新参数。 核心要点： 1. RNN的参数在时间步之间共享（即U, W, V, b, c等参数在所有时间步都是相同的）。 2. BPTT的基本思想是将RNN按时间序列展开，形成一个虚拟的深层网络，每一层对应一个时间步。 3. 在展开的网络中，使用标准的反向传播算法计算梯度，但由于参数共享，我们需要将所有时间步上相同参数的梯度累加起来，然后进行更新。 步骤： 1. 前向传播：从时间t=1到t=T（序列长度）进行前向计算，保存每个时间步的隐藏状态和输出。 2. 计算损失：通常是对每个时间步的损失求和（如交叉熵损失）。 3. 反向传播：从t=T开始，反向计算每个时间步的梯度，一直回溯到t=1。 4. 梯度累加：由于参数共享，每个时间步的梯度都会贡献给相同的参数，因此需要将每个时间步的梯度累加。 5. 参数更新：使用累加的梯度（通常也会除以序列长度或批次大小进行归一化）来更新参数。 数学推导： 考虑一个简单的RNN模型，其结构如下： - 输入：$x_t$（时间步t的输入向量） - 隐藏状态：$h_t = \tanh(W_{xh} x_t + W_{hh} h_{t-1} + b_h)$ - 输出：$y_t = \text{softmax}(W_{hy} h_t + b_y)$ 损失函数：假设我们使用交叉熵损失，对于每个时间步的损失为$L_t = - \sum y_{t, \text{true}} \log y_{t, \text{pred}}$，总损失$L = \sum_{t=1}^T L_t$。 在反向传播中，我们需要计算损失函数对参数$W_{xh}, W_{hh}, W_{hy}, b_h, b_y$的梯度。 以$W_{hh}$为例，由于它在每个时间步都被使用，因此梯度计算为： $$\frac{\partial L}{\partial W_{hh}} = \sum_{t=1}^T \frac{\partial L}{\partial h_t} \frac{\partial h_t}{\partial W_{hh}}$$ 但是注意，$h_t$不仅依赖于当前时间步的$W_{hh}$，还通过$h_{t-1}$依赖于之前所有时间步的$W_{hh}$（因为$h_{t-1}$也是$W_{hh}$的函数）。因此，我们需要使用链式法则沿着时间展开。 具体地，对于$h_t$，它的梯度来自两部分： - 直接来自当前时间步的输出层（通过$y_t$） - 来自下一个时间步的隐藏状态（因为$h_t$会影响到$h_{t+1}$） 因此，在反向传播时，从最后一个时间步T开始，我们计算损失对$h_T$的梯度，然后传递到$h_{T-1}$，依此类推直到$h_1$。 定义： - $\delta_t = \frac{\partial L}{\partial h_t}$ 表示损失对t时刻隐藏状态的梯度。 那么，$\delta_t$的计算包括： - 来自当前时间步的输出层：$\frac{\partial L_t}{\partial h_t} = (y_t - \text{true\_label}_t) \cdot W_{hy}^\top$（这里假设是分类任务，softmax输出） - 来自下一个时间步的隐藏状态：$\frac{\partial L}{\partial h_{t+1}} \cdot \frac{\partial h_{t+1}}{\partial h_t} = \delta_{t+1} \cdot W_{hh}^\top \cdot (1 - h_t^2)$ （因为$h_{t+1}$中使用了$h_t$，且激活函数是tanh，其导数为$1-\tanh^2$） 所以： $$\delta_t = W_{hy}^\top (y_t - \text{true\_label}_t) + W_{hh}^\top \delta_{t+1} \cdot (1 - h_t^2)$$ 注意：对于最后一个时间步T，没有来自未来的梯度，所以$\delta_T = W_{hy}^\top (y_T - \text{true\_label}_T)$。 然后，对于参数$W_{hh}$，梯度为： $$\frac{\partial L}{\partial W_{hh}} = \sum_{t=1}^T \delta_t \cdot (1 - h_t^2) \cdot h_{t-1}^\top$$ 其中，$h_{t-1}$是上一时刻的隐藏状态（注意：在t=1时，$h_0$通常是初始化为0向量）。 同样，对于其他参数，如$W_{xh}$： $$\frac{\partial L}{\partial W_{xh}} = \sum_{t=1}^T \delta_t \cdot (1 - h_t^2) \cdot x_t^\top$$ 对于偏置$b_h$： $$\frac{\partial L}{\partial b_h} = \sum_{t=1}^T \delta_t \cdot (1 - h_t^2)$$ 对于输出层的参数$W_{hy}$和$b_y$，由于它们不依赖于时间（每个时间步独立），所以梯度计算更直接： $$\frac{\partial L}{\partial W_{hy}} = \sum_{t=1}^T (y_t - \text{true\_label}_t) \cdot h_t^\top$$ $$\frac{\partial L}{\partial b_y} = \sum_{t=1}^T (y_t - \text{true\_label}_t)$$ 最后，使用梯度下降更新参数： $$W = W - \eta \frac{\partial L}{\partial W}$$ 其中$\eta$是学习率。 注意：在实际实现中，由于序列可能很长，BPTT可能会遇到梯度消失或爆炸问题。因此，通常使用截断的BPTT（Truncated BPTT），即只反向传播固定步数（例如，只回传k步）。 总结步骤： 1. 前向传播：计算并保存每个时间步的输入、隐藏状态、输出。 2. 计算每个时间步的损失，并累加得到总损失。 3. 反向传播：从最后一个时间步开始，计算损失对隐藏状态的梯度（$\delta_t$），并反向传递，同时累加各个参数的梯度。 4. 使用累加的梯度更新参数。 注意：参数共享意味着在更新时，所有时间步的相同参数使用同一个梯度（即累加后的梯度）进行更新。 引用说明： 根据引用[1][2][3]，BPTT是RNN训练中使用的特殊反向传播算法，通过时间展开，将RNN视为深度网络，然后进行反向传播，同时参数共享是RNN的特点，因此梯度更新时需要对所有时间步的梯度进行累加[^1][^2][^3]。 下面，我们将按照上述思路组织回答。</think>### 循环神经网络（RNN）中的反向传播算法（BPTT）实现详解 循环神经网络通过**时间展开结构**和**参数共享机制**实现序列建模，其反向传播采用**通过时间反向传播（BPTT）算法**，核心是通过时间维度展开网络结构并计算梯度。以下是具体实现步骤： --- #### 一、BPTT 算法核心原理 1. **时间展开结构** 将长度为 $T$ 的序列展开为 $T$ 层前馈网络，每层对应一个时间步： $$ \text{RNN} \rightarrow \underbrace{\text{NN}_1 \rightarrow \text{NN}_2 \rightarrow \cdots \rightarrow \text{NN}_T}_{\text{时间展开}} $$ 其中每层共享相同参数 $(W_{xh}, W_{hh}, W_{hy}, b_h, b_y)$[^1][^2]。 2. **梯度传播路径** 损失函数 $L$ 的梯度需沿时间反向传播： $$ \frac{\partial L}{\partial \theta} = \sum_{t=1}^T \frac{\partial L_t}{\partial \theta} \quad (\theta \in \{W_{xh}, W_{hh}, \cdots\}) $$ 梯度需从 $t=T$ 逐层传递至 $t=1$[^2][^3]。 --- #### 二、BPTT 具体实现步骤 ##### 1. 前向传播（保存中间状态） ```python # 初始化隐藏状态 h_0 = np.zeros(hidden_size) for t in range(1, T+1): # 计算当前隐藏状态 h_t = np.tanh(W_{xh} @ x_t + W_{hh} @ h_{t-1} + b_h) # 计算输出 y_t = softmax(W_{hy} @ h_t + b_y) # 保存 h_t 用于反向传播 cache[t] = (x_t, h_t, h_{t-1}) ``` ##### 2. 反向传播（梯度计算） 以参数 $W_{hh}$ 为例，梯度计算需考虑时间依赖： $$ \frac{\partial L}{\partial W_{hh}} = \sum_{t=1}^T \frac{\partial L}{\partial h_t} \frac{\partial h_t}{\partial W_{hh}} + \frac{\partial L}{\partial h_t} \frac{\partial h_t}{\partial h_{t-1}} \frac{\partial h_{t-1}}{\partial W_{hh}} + \cdots $$ 具体实现： ```python # 初始化梯度 dW_{hh} = np.zeros_like(W_{hh}) dh_next = np.zeros_like(h_T) # 从最后时间步开始 for t in reversed(range(1, T+1)): x_t, h_t, h_{t-1} = cache[t] # 计算当前 h_t 的梯度 (来自输出层 + 下一时间步) dh_t = dL/dy_t @ W_{hy} * (1 - h_t**2) + dh_next # 累积 W_{hh} 梯度 dW_{hh} += dh_t @ h_{t-1}.T # 计算传递到前一时间步的梯度 dh_next = dh_t @ W_{hh} * (1 - h_{t-1}**2) ``` ##### 3. 参数更新（梯度累加） 所有时间步共享参数，梯度需累加后统一更新： $$ W_{hh} \leftarrow W_{hh} - \eta \cdot \frac{1}{T} \sum_{t=1}^T \frac{\partial L_t}{\partial W_{hh}} $$ 其中 $\eta$ 为学习率[^2][^3]。 --- #### 三、BPTT 的数学推导（以 $W_{hh}$ 为例） 1. **隐藏状态梯度**： $$ \delta_t = \frac{\partial L}{\partial h_t} = \underbrace{\frac{\partial L}{\partial y_t} \frac{\partial y_t}{\partial h_t}}_{\text{输出层梯度}} + \underbrace{\frac{\partial L}{\partial h_{t+1}} \frac{\partial h_{t+1}}{\partial h_t}}_{\text{时间传播}} $$ 2. **参数梯度分解**： $$ \frac{\partial L}{\partial W_{hh}} = \sum_{k=1}^T \sum_{t=k}^T \frac{\partial L}{\partial h_t} \frac{\partial h_t}{\partial h_k} \frac{\partial h_k}{\partial W_{hh}} $$ 3. **梯度计算通式**： $$ \frac{\partial h_t}{\partial h_k} = \prod_{j=k}^{t-1} \left( \frac{\partial h_{j+1}}{\partial h_j} \right) = \prod_{j=k}^{t-1} W_{hh}^\top \cdot \text{diag}(1 - h_j^2) $$ 其中 $\text{diag}(1 - h_j^2)$ 是 $\tanh$ 激活函数的 Jacobian 矩阵[^1][^3]。 --- #### 四、BPTT 的优化挑战 | 问题 | 原因 | 解决方案 | |---------------------|----------------------------------------------------------------------|------------------------------| | **梯度消失** | 长期依赖中 $\prod_{j=k}^{t-1} \| \frac{\partial h_{j+1}}{\partial h_j} \| \ll 1$ | LSTM/GRU 门控机制[^3] | | **梯度爆炸** | $\prod \| \cdot \| \gg 1$ | 梯度裁剪（Gradient Clipping）| | **计算复杂度高** | $O(T^2)$ 时间复杂度和 $O(T)$ 空间复杂度 | 截断 BPTT（Truncated BPTT） | > **截断 BPTT 示例**：仅回传 $k$ 步梯度 > $$ \frac{\partial \tilde{L}}{\partial W_{hh}} = \sum_{t=\max(1,T-k)}^T \frac{\partial L_t}{\partial W_{hh}} $$ --- ### 总结 BPTT 算法通过时间展开将 RNN 转化为虚拟深度网络，在反向传播时： 1. **按时间逆序计算梯度**：从 $t=T$ 到 $t=1$ 逐层回溯 2. **梯度累加更新**：共享参数需聚合所有时间步梯度 3. **处理时序依赖**：通过 $\frac{\partial h_t}{\partial h_{t-1}}$ 传递历史信息[^1][^2][^3] 该算法虽存在梯度问题，但为 RNN 训练提供了理论基础，后续改进模型（如 LSTM）通过门控机制优化了梯度流动。 ---
评论 6
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值