第6章 循环神经网络

神经网络与深度学习——第6章 循环神经网络 延时神经网络是对前馈神经网络增加延时器,当前层的神经元的活性值依赖于前一层神经元的最近K个时刻的活性值;卷积神经网络是对前馈神经网络增加卷积层和池化层;循环神经网络是对前馈神经网络增加自反馈的神经元,RNN当前时刻的活性值通常依赖于之前所有时刻的活性值,因为通过循环连接来传递信息。卷积神经网络没有时序性的概念,循环神经网络具有时序性,如果我们并不在意前一个决策结果是什么,用CNN,比如手写数字识别,在自然语言处理中,上一个词很大程度影响下一个词,可以用RNN。 阅读详情

第6章 循环神经网络

前馈神经网络(比如CNN)的输入和输出是固定维度的,且信息单向传播,无法处理时序数据(比如语音、文本、视频)——这类数据的长度不固定,且当前输出依赖历史信息(比如理解“他昨天去了公园,今天还想去那里”,“那里”依赖“公园”这个历史信息)。

循环神经网络(RNN)的核心是引入记忆能力——神经元不仅接收当前输入,还接收自身的历史输出(通过反馈连接形成环路),能处理任意长度的时序数据,适合序列预测、语言建模、机器翻译等任务。

本章会从“如何给网络加记忆”入手,逐步讲解RNN的结构、核心问题(长程依赖)、改进方案(门控机制),以及扩展模型,帮你搞懂RNN的工作原理和应用。

6.1 给网络增加记忆能力:为什么需要RNN?

前馈网络是“静态”的,没有记忆,要处理时序数据,必须主动增加“记忆模块”。常见的方法有三种:

6.1.1 延时神经网络(TDNN):直接存储历史信息

  • 核心思路:在前馈网络的非输出层加“延时器”,存储神经元最近K次的输出(历史信息);
  • 例子:第t时刻的神经元输出,不仅依赖当前输入,还依赖前K个时刻的输入(比如t-1、t-2、…、t-K);
  • 数学表达:ht(l)=f(ht(l−1),ht−1(l−1),...,ht−K(l−1))h_t^{(l)} = f(h_t^{(l-1)}, h_{t-1}^{(l-1)}, ..., h_{t-K}^{(l-1)})ht(l)​=f(ht(l−1)​,ht−1(l−1)​,...,ht−K(l−1)​);
  • 优点:简单直观,能捕捉短期依赖;
  • 缺点:K是固定超参数(比如K=3),无法灵活捕捉变长的依赖(比如文本中“他”可能指代10个词前的“小明”)。

6.1.2 有外部输入的非线性自回归模型(NARX):结合输入和输出历史

  • 核心思路:不仅存储输入的历史(最近Kₓ次输入),还存储输出的历史(最近Kᵧ次输出),用非线性函数整合;
  • 例子:预测股票价格(t时刻输出),依赖最近3天的股票价格(输出历史)和最近7天的成交量(输入历史);
  • 数学表达:yt=f(xt,xt−1,...,xt−Kx,yt−1,...,yt−Kγ)y_t = f(x_t, x_{t-1}, ..., x_{t-Kₓ}, y_{t-1}, ..., y_{t-Kᵧ})yt​=f(xt​,xt−1​,...,xt−Kx​​,yt−1​,...,yt−Kγ​​);
  • 优点:比TDNN更灵活,能利用输出的历史反馈;
  • 缺点:Kₓ和Kᵧ需要手动调整,无法自适应捕捉长依赖。

6.1.3 循环神经网络(RNN):通过自反馈实现动态记忆

  • 核心思路:去掉固定的K,用“自反馈连接”让神经元的输出(隐状态)直接反馈到自身,形成环路——隐状态本身就是“动态记忆”,能累积所有历史信息;
  • 例子:处理文本时,每个词的输入都会更新隐状态,隐状态里包含前面所有词的信息;
  • 数学表达(简化版):ht=f(ht−1,xt)h_t = f(h_{t-1}, x_t)ht​=f(ht−1​,xt​)(hth_tht​是t时刻的隐状态,f是非线性函数);
  • 优点:隐状态维度固定,能处理任意长度的时序数据,记忆能力自适应;
  • 本质:RNN是一个“动力系统”,隐状态h_t随时间演化,相当于“存储装置”,能模拟任意非线性动力系统(理论上能模拟任何程序)。

6.2 简单循环网络(SRN):最基础的RNN

简单循环网络是RNN的“最小版本”——只有一个隐藏层,隐藏层神经元之间有反馈连接(自反馈),结构简单,能帮我们理解RNN的核心逻辑。

6.2.1 网络结构与信息传播

(1)结构组成
  • 输入层:t时刻的输入向量xt∈RMx_t \in \mathbb{R}^Mxt​∈RM(比如文本中某个词的嵌入向量);
  • 隐藏层:t时刻的隐状态ht∈RDh_t \in \mathbb{R}^Dht​∈RD(记忆模块,存储历史信息);
  • 输出层:t时刻的输出yty_tyt​(比如预测下一个词的概率);
  • 核心连接:隐藏层的输出hth_tht​会反馈到隐藏层的输入,参与下一个时刻的计算。
(2)数学表达(前馈过程)
  • 隐状态更新(核心!记忆的体现):
    ht=σ(Whht−1+Wxxt+bh)h_t = \sigma(W_h h_{t-1} + W_x x_t + b_h)ht​=σ(Wh​ht−1​+Wx​xt​+bh​)
    其中:
    • Wh∈RD×DW_h \in \mathbb{R}^{D×D}Wh​∈RD×D:隐状态到隐状态的权重(历史信息的传递权重);
    • Wx∈RD×MW_x \in \mathbb{R}^{D×M}Wx​∈RD×M:输入到隐状态的权重(当前输入的权重);
    • bhb_hbh​:隐状态的偏置;
    • σ\sigmaσ:激活函数(常用tanh或ReLU,避免梯度消失)。
  • 输出计算:
    yt=Wyht+byy_t = W_y h_t + b_yyt​=Wy​ht​+by​(分类任务需加Softmax,回归任务直接输出)。
(3)直观理解
  • 隐状态h_t是“动态记忆”:t=1时,h₁只包含x₁的信息;t=2时,h₂包含x₁和x₂的信息;t=T时,hTh_ThT​包含x₁到xTx_TxT​的所有历史信息;
  • 权重W_h是“记忆更新规则”:控制如何将历史记忆(ht−1h_{t-1}ht−1​)和当前输入(xtx_txt​)融合。

6.2.2 计算能力:能模拟任意非线性动力系统

理论上,简单循环网络的计算能力非常强——只要隐状态维度D足够大,就能以任意精度近似任意非线性动力系统(比如混沌系统、有限状态机)。

  • 对比前馈网络:前馈网络能模拟任意连续函数,RNN能模拟任意“程序”(比如处理序列的逻辑、状态转换);
  • 实际意义:RNN不仅能拟合数据,还能捕捉序列的“逻辑结构”(比如语法规则、时间规律)。

6.2.3 参数学习:随时间反向传播(BPTT)

RNN的参数(Wh、Wx、Wy、bh、byW_h、W_x、W_y、b_h、b_yWh​、Wx​、Wy​、bh​、by​)通过“随时间反向传播(BPTT)”学习,核心是将时序数据“展开”成前馈网络,再用反向传播计算梯度。

(1)核心思路
  • 展开:将长度为T的序列,展开成T个“串联的前馈网络”(每个时刻对应一个前馈网络,共享参数);
  • 反向传播:从输出层(t=T)反向计算每个时刻的梯度,累积后更新参数;
  • 损失函数:时序损失的总和,比如交叉熵损失之和L=∑t=1TL(yt,y^t)\mathcal{L} = \sum_{t=1}^T \mathcal{L}(y_t, \hat{y}_t)L=∑t=1T​L(yt​,y^​t​)。
(2)梯度计算的关键

隐状态hth_tht​依赖ht−1h_{t-1}ht−1​,因此梯度会通过ht−1h_{t-1}ht−1​传递到更早的时刻,比如损失对hth_tht​的梯度:
∂L∂ht=(Wh⊤)⋅∂L∂ht+1⋅σ′(ht)+∂L∂yt⋅Wy⊤\frac{\partial \mathcal{L}}{\partial h_t} = (W_h^\top) \cdot \frac{\partial \mathcal{L}}{\partial h_{t+1}} \cdot \sigma'(h_t) + \frac{\partial \mathcal{L}}{\partial y_t} \cdot W_y^\top∂ht​∂L​=(Wh⊤​)⋅∂ht+1​∂L​⋅σ′(ht​)+∂yt​∂L​⋅Wy⊤​

  • 梯度会沿着时间步传递,越早期的时刻,梯度需要传递的步数越多。

6.3 长程依赖问题:RNN的核心痛点

当序列很长时(比如文本长度T=1000),RNN的梯度会出现“梯度消失”或“梯度爆炸”——这就是长程依赖问题,导致RNN无法学习到长期的历史信息(比如文本中第10个词和第1000个词的关联)。

6.3.1 为什么会出现长程依赖?

核心原因是“梯度沿时间步传递时的累积效应”:

  • 梯度消失:激活函数(比如tanh)的导数绝对值≤1,梯度经过T次传递后,会变成(导数)T(导数)^T(导数)T——T很大时,梯度趋近于0(比如0.9^100≈0),早期时刻的参数无法更新;
  • 梯度爆炸:如果权重WhW_hWh​的 eigenvalues>1,梯度经过T次传递后会指数增长(比如1.1^100≈13780),导致参数更新时溢出(NaN)。

6.3.2 直观例子

比如处理句子“我小时候住在上海,现在虽然在北京工作,但每年都会回____”,RNN需要记住“上海”(第4个词)才能预测最后一个词是“上海”。但如果句子很长(比如中间加100个词),RNN的梯度无法从最后一个词传递到“上海”对应的时刻,导致无法学习到这个依赖。

6.3.3 临时缓解方法

  • 梯度裁剪:解决梯度爆炸,当梯度的模超过阈值时,缩放梯度(比如阈值=5,梯度模=10,则缩放为5);
  • 选用ReLU激活函数:ReLU在x>0时导数=1,缓解梯度消失,但可能出现“死亡ReLU”;
  • 权重初始化:让WhW_hWh​的 eigenvalues≈1,减少梯度累积的极端情况;
  • 局限性:这些方法只能缓解短期依赖(比如T=50),无法解决长期依赖(比如T=1000)。

6.4 门控循环网络:解决长程依赖的核心方案

为了解决长程依赖,研究者提出了“门控机制”——通过“门”来控制记忆的“遗忘”和“更新”,让有用的历史信息能保留到长期,无用的信息被丢弃。主流的门控网络有两种:LSTM和GRU。

6.4.1 长短期记忆网络(LSTM):最经典的门控网络

LSTM(Long Short-Term Memory)的核心是“引入三个门和一个细胞状态”,细胞状态像“传送带”,能稳定传递长期信息,门则控制信息的流入和流出。

(1)核心结构:细胞状态+三个门
  1. 细胞状态(Cell State):ct∈RDc_t \in \mathbb{R}^Dct​∈RD,相当于“长期记忆通道”,直接在时间步间传递,只通过门进行少量修改(避免梯度消失);
  2. 遗忘门(Forget Gate):决定哪些历史信息(细胞状态ct−1c_{t-1}ct−1​)要被遗忘;
    • 公式:ft=σ(Wf[ht−1,xt]+bf)f_t = \sigma(W_f [h_{t-1}, x_t] + b_f)ft​=σ(Wf​[ht−1​,xt​]+bf​)(σ是Sigmoid,输出0~1,0=完全遗忘,1=完全保留);
  3. 输入门(Input Gate):决定哪些新信息(当前输入xtx_txt​和历史隐状态ht−1h_{t-1}ht−1​)要存入细胞状态;
    • 公式:it=σ(Wi[ht−1,xt]+bi)i_t = \sigma(W_i [h_{t-1}, x_t] + b_i)it​=σ(Wi​[ht−1​,xt​]+bi​)(输入门控制是否存入),c~t=tanh⁡(Wc[ht−1,xt]+bc)\tilde{c}_t = \tanh(W_c [h_{t-1}, x_t] + b_c)c~t​=tanh(Wc​[ht−1​,xt​]+bc​)(新信息的候选值);
  4. 细胞状态更新:ct=ft⊙ct−1+it⊙c~tc_t = f_t \odot c_{t-1} + i_t \odot \tilde{c}_tct​=ft​⊙ct−1​+it​⊙c~t​(遗忘旧信息,加入新信息);
  5. 输出门(Output Gate):决定细胞状态中的哪些信息要输出到隐状态hth_tht​;
    • 公式:ot=σ(Wo[ht−1,xt]+bo)o_t = \sigma(W_o [h_{t-1}, x_t] + b_o)ot​=σ(Wo​[ht−1​,xt​]+bo​),ht=ot⊙tanh⁡(ct)h_t = o_t \odot \tanh(c_t)ht​=ot​⊙tanh(ct​)。
(2)为什么能解决长程依赖?
  • 细胞状态直接传递,梯度几乎不衰减(避免梯度消失);
  • 遗忘门和输入门自适应控制:有用的长期信息(比如“上海”)被遗忘门保留,无用信息被丢弃,新信息按需加入。
(3)LSTM的变种
  • .peephole连接:让门能观察细胞状态(比如ft=σ(Wf[ht−1,xt,ct−1]+bf)f_t = σ(W_f [h_{t-1}, x_t, c_{t-1}] + b_f)ft​=σ(Wf​[ht−1​,xt​,ct−1​]+bf​)),增强门的决策能力;
  • 耦合遗忘门和输入门:让“遗忘”和“输入”联动(比如ft=1−itf_t = 1 - i_tft​=1−it​),减少参数。

6.4.2 门控循环单元(GRU):简化版LSTM

GRU(Gated Recurrent Unit)是LSTM的简化版,合并了细胞状态和隐状态,用两个门替代三个门,参数更少,训练更快,效果与LSTM相当。

(1)核心结构:两个门+隐状态
  1. 更新门(Update Gate):合并LSTM的遗忘门和输入门,决定“保留多少历史信息”和“加入多少新信息”;
    • 公式:zt=σ(Wz[ht−1,xt]+bz)z_t = \sigma(W_z [h_{t-1}, x_t] + b_z)zt​=σ(Wz​[ht−1​,xt​]+bz​)(输出0~1,0=完全保留历史,1=完全使用新信息);
  2. 重置门(Reset Gate):决定“是否忽略历史信息”,帮助捕捉短期依赖;
    • 公式:rt=σ(Wr[ht−1,xt]+br)r_t = \sigma(W_r [h_{t-1}, x_t] + b_r)rt​=σ(Wr​[ht−1​,xt​]+br​)(输出0~1,0=忽略历史,1=保留历史);
  3. 候选隐状态:h~t=tanh⁡(Wh[rt⊙ht−1,xt]+bh)\tilde{h}_t = \tanh(W_h [r_t \odot h_{t-1}, x_t] + b_h)h~t​=tanh(Wh​[rt​⊙ht−1​,xt​]+bh​)(重置门控制历史信息的参与程度);
  4. 隐状态更新:ht=(1−zt)⊙ht−1+zt⊙h~th_t = (1 - z_t) \odot h_{t-1} + z_t \odot \tilde{h}_tht​=(1−zt​)⊙ht−1​+zt​⊙h~t​(更新门控制历史和新信息的融合比例)。
(2)GRU与LSTM的对比
特性LSTMGRU
核心组件细胞状态+3个门隐状态+2个门
参数数量多(3组权重)少(2组权重)
适用场景长序列、需精准记忆一般序列、追求效率

6.4.3 门控网络的优势总结

  • 解决长程依赖:通过门控机制和稳定的记忆通道,梯度能有效传递到早期时刻;
  • 自适应记忆:自动决定“遗忘什么、保留什么”,不用手动调整记忆长度;
  • 泛化能力强:在语言建模、机器翻译、语音识别等任务中表现远超简单RNN。

6.5 深层循环网络与双向循环网络

简单RNN和基础门控网络是“单层”的,为了增强表达能力,可通过“堆叠”和“双向”扩展,形成深层循环网络和双向循环网络。

6.5.1 深层循环网络(Stacked RNN)

  • 核心思路:将多个RNN层堆叠起来,下层的输出(隐状态)作为上层的输入;
  • 结构:输入xt→第1层RNN→ht1→第2层RNN→ht2→...→第L层RNN→输出ytx_t → 第1层RNN → h_t^1 → 第2层RNN → h_t^2 → ... → 第L层RNN → 输出y_txt​→第1层RNN→ht1​→第2层RNN→ht2​→...→第L层RNN→输出yt​;
  • 优点:深层结构能提取更抽象的时序特征(比如下层提取词级特征,上层提取句子级特征);
  • 注意:需要更多参数和数据,训练时容易过拟合,需配合正则化(比如Dropout)。

6.5.2 双向循环网络(Bi-RNN)

  • 核心问题:很多任务需要“未来信息”(比如文本情感分析中,“我不觉得这个电影好”,“不”需要结合后面的“好”才能判断情感);
  • 核心思路:同时使用两个RNN(正向RNN和反向RNN),正向RNN处理过去→现在的信息,反向RNN处理未来→现在的信息,最后拼接两者的隐状态;
  • 结构:
    • 正向RNN:x1→x2→...→xTx₁→x₂→...→x_Tx1​→x2​→...→xT​,输出htfh_t^fhtf​(包含x1 xtx₁~x_tx1​ xt​的信息);
    • 反向RNN:xT→xT−1→...→x1x_T→x_{T-1}→...→x₁xT​→xT−1​→...→x1​,输出htbh_t^bhtb​(包含xt xTx_t~x_Txt​ xT​的信息);
    • 融合:ht=[htf,htb]h_t = [h_t^f, h_t^b]ht​=[htf​,htb​](拼接),再输入输出层;
  • 适用场景:自然语言处理(分词、词性标注、情感分析)、语音识别等需要上下文信息的任务。

6.6 扩展到图结构:递归神经网络与图神经网络

RNN主要处理“线性序列”(比如文本、语音),但很多数据是“非线性结构”(比如树、知识图谱、社交网络)——需将RNN扩展到图结构,形成递归神经网络和图神经网络。

6.6.1 递归神经网络(Recursive Neural Network)

  • 核心思路:处理树结构数据(比如句法树、分子结构),将RNN的“时序循环”改为“树结构递归”;
  • 结构:树的每个节点对应一个神经元,节点的输入是自身特征+子节点的隐状态,通过递归计算得到根节点的隐状态;
  • 例子:句法树分析中,“我喜欢读书”的句法树是“主谓宾结构”,每个短语(比如“喜欢读书”)的隐状态由子节点(“喜欢”“读书”)计算得到,根节点的隐状态代表整个句子的语义;
  • 优点:能捕捉树结构的层级关系,比RNN更适合处理有明确层级的 data。

6.6.2 图神经网络(Graph Neural Network, GNN)

  • 核心思路:处理任意图结构数据(比如社交网络、知识图谱、交通网络),将RNN的“时序依赖”改为“图节点依赖”;
  • 核心思想:每个节点的隐状态由“自身特征”和“邻居节点的隐状态”共同更新(消息传递机制);
  • 数学表达(简化版):hv(k)=f(hv(k−1),∑u∈N(v)hu(k−1))h_v^{(k)} = f(h_v^{(k-1)}, \sum_{u \in N(v)} h_u^{(k-1)})hv(k)​=f(hv(k−1)​,∑u∈N(v)​hu(k−1)​);
    其中N(v)是节点v的邻居,k是迭代次数(更新轮数);
  • 常见变种:图卷积网络(GCN)、图注意力网络(GAT)、消息传递神经网络(MPNN);
  • 适用场景:节点分类(比如社交网络中预测用户兴趣)、链路预测(比如预测社交网络中的好友关系)、图分类(比如分子毒性预测)。

6.7 总结

RNN的核心价值是“处理时序数据和非线性结构数据”,通过记忆能力捕捉序列或结构中的依赖关系。

核心要点

  1. 简单RNN通过自反馈实现记忆,但存在长程依赖问题(梯度消失/爆炸);
  2. 门控网络(LSTM/GRU)通过门控机制和稳定记忆通道,解决长程依赖,是实际应用的首选;
  3. 深层RNN增强特征表达能力,双向RNN利用未来信息,适用于需要上下文的任务;
  4. 扩展到图结构:递归神经网络处理树结构,图神经网络处理任意图结构,覆盖更广泛的数据类型。

深入阅读推荐

  • 想系统学RNN理论:《Recurrent Neural Networks and Deep Learning》;
  • 想深入LSTM/GRU:《Understanding LSTM Networks》(Colah博客,通俗易懂);
  • 想了解图神经网络:《Graph Neural Networks: A Review of Methods and Applications》;
  • 想学习实践:PyTorch/TensorFlow的RNN/LSTM/GRU官方教程。
循环神经网络(RNN) 在之前学习了全连接神经网络(DNN)模型,网络结构都是从输入层到隐含层再到输出层,层与层之间是全连接或部分连接的,但每层之间的节点是无连接的。 一、神经网络基础 神经网络可以当做是能够拟合任意函数的黑盒子,只要训练数据足够,给定特定的x,就能得到希望的y,结构图如下: 将神经网络模型训练好之后,在输入层给定一个x,通过网络之后就能够在输出层得到特定的y,那么既然有了这么强大的模型,为什么还需要RNN(循环神经网络)呢? 二、为什么需要RNN(循环神经网络) 考虑这样一个问题,如果要预测句子的下一个单词是什么 阅读详情

相关推荐

RNN循环神经网络

RNN(Recurrent Neural Network) 在传统的全连接神经网络中,从输入层到隐藏层再到输出层,每一层之间的节点是无连接的,因为输入和输出是独立的,所以这种普通的神经网络对于序列数据的处理是无能为力的。而现实中,绝大多数的数据都是序列数据,比如音频、视频、文本等,都存在时间线,想要挖掘数据中的序列信息和语义信息,就需要神经网有更加特殊的结构,比如对于序列信息每一时刻的信...

baijinswpu的博客 3608

神经网络与深度学习第六章--循环神经网络(理论)

前馈神经网络可以看作一个复杂的函数,每次的输入都是独立的,即网络的输出只依赖于当前的输入。循环神经网络在学习过程中的主要问题是:由于梯度消失或梯度爆炸问题,简单循环神经网络实际上只能学习到短期的依赖关系,很难建模长时间间隔的状态之间的依赖关系,称为。简单循环网络 SRN:是只有一个隐藏层的神经网络,但(区别于两层的前馈神经网络,)增加了从隐藏层到隐藏层的反馈连接。为向量元素乘积,里面的f,i,o分别是遗忘门、输入门、输出门(详见下面的门控机制),用来控制信息传递的路径。

2301_79679684的博客 969

RNN-循环神经网络

循环神经网络(RNN)是一种递归神经网络,其特点是能够处理序列数据,包括时间序列、语音、自然语言等。RNN的核心结构是循环单元,它可以捕获序列数据的时序信息,并能够利用这些信息进行模式识别和预测。RNN的结构可以根据具体任务进行调整,常见的变体包括长短期记忆网络(LSTM)、门控循环单元(GRU)等。这些变体在处理序列数据时具有更强的表达能力和性能。RNN在许多领域得到了广泛应用,包括语音识别、自然语言处理、机器翻译、图像描述等。

2301_78731684的博客 1344

深度学习原理,第6章:循环神经网络 (RNN):序列建模的早期探索

告别了擅长捕捉空间局部性的卷积神经网络(CNN),我们踏上了通往Transformer之路的第二站。在这里,我们将目光转向另一类至关重要的数据形式——序列(Sequence)

2601_96229558的博客 191

【深度学习模型】循环神经网络RNN

理解循环神经网络RNN及重要结构LSTM 循环神经网络(recurrent neural network,RNN)是专门用于处理序列数据的深度学习模型,其广泛应用在自然语言处理、语音识别、情感分析、机器翻译等领域。 RNN的网络结构 在循环神经网络中,一个非常重要的概率就是时刻,因为序列是按照时刻输入的。循环神经网络会对每个时刻的输入结合当前模型的状态给出一个输出。其标准的网络结构为: 其中x为...

florrie 1942

循环神经网络RNN专题(01/6)

循环神经网络(RNN)是一种深度学习模型,经过训练后可以处理顺序数据输入并将其转换为特定的顺序数据输出。顺序数据是指单词、句子或时间序列数据之类的数据,其中的顺序分量根据复杂的语义和语法规则相互关联。RNN 是一种由许多相互连接的组件组成的软件系统,这些组件模仿人类进行顺序数据转换的方式,例如将文本从一种语言翻译成另一种语言。RNN 在很大程度上正在被基于转换器的人工智能(AI)和大型语言模型(LLM)所取代,后者在顺序数据处理中的效率要高得多。

gongdiwudu的专栏 3279

nndl-book摘录_第6章 循环神经网络

循环神经网络概述; 给网络增加短期记忆能力:延时神经网络(TDNN)、有外部输入的非线性自回归模型(NARX)、循环神经网络(RNN); 参数学习:随时间反向传播算法(BPTT)、实时循环学习算法(RTRL); 长程依赖问题; 长短期记忆网络(LSTM); 门控循环单元网络; 深层循环神经网络:SRNN、Bi-RNN; 扩展到图结构:递归神经网络(RecNN)、图神经网络(GNN);

NeXT_Vision的博客 1580

循环神经网络RNN

RNN(Recurrent Neural Network)循环神经网络。 类比血液在体内循环,从过去一直被更新到现在。 RNN具有环路。这个环路可以使数据不断循环。通过数据的循环,RNN一边记住过去的数据,一边更新到最新的数据。 RNN层的循环结构 RNN层的循环结构和它的展开如下图所示。下面的多个RNN层都是同一个层;输出分叉了,也就是说同一个输出被复制了,其中的一个输出将成为自身的输入。 xt是t时刻的输入数据,输入t时刻的RNN层。各个时刻的RNN层接收t时刻的输入数据和前一个RNN层的输出数据。

及时总结 5596

【人工智能引论期末复习】 第6章 深度学习4 - RNN

LSTM中,输入门、遗忘门、输出门的激活函数通常为( )函数,输出值范围在( )之间,用于模拟门的( )状态。C̃_t = tanh(W_c · [h_{t-1}, x_t] + b_c) [候选记忆]o_t = σ(W_o · [h_{t-1}, x_t] + b_o) [输出门]C_t = f_t ⊙ C_{t-1} + i_t ⊙ C̃_t [新记忆]r_t = σ(W_r · [h_{t-1}, x_t] + b_r) [重置门]RNN适用于序列数据,具有记忆能力;

2301_80025611的博客 591

ADS2020与SystemVue2020Update1.0同机安装避坑指南:解决License冲突,实现EVM联合仿真

本文详细介绍了ADS2020与SystemVue2020 Update1.0同机安装的完整解决方案,重点解决License冲突问题,实现EVM联合仿真。通过合理的安装顺序、路径规划和License服务配置,确保两款EDA工具和谐共存,为射频与微波电路设计提供高效仿真环境。

weixin_30271335的博客 348

RealSense D455启动教程

RealSense D455启动教程 修改rs_camera.launch

每天进步一点点 2421

循环神经网络(RNN)原理通俗解释

1.RNN怎么来的? 2.RNN的网络结构及原理 3.RNN的改进1:双向RNN 4.RNN的改进2:深层双向RNN 4.1 Pyramidal RNN 5.RNN的训练-BPTT 6.RNN与CNN的结合应用:看图说话 7.RNN项目练手 1.RNN怎么来的? 循环神经网络的应用场景比较多,比如暂时能写论文,写程序,写诗,但是,(总是会有但是的),但是他们现在还不能正常使...

多元思考力 21万+

突发E层(Es层):短波通信中的“意外惊喜”与“隐形杀手”全解析

本文深入解析了突发E层(Es层)在短波通信中的双重作用,既可能带来超远距离通信的“意外惊喜”,也可能成为通信链路的“隐形杀手”。通过分析Es层的形成机制、时空分布规律及实战应用技巧,帮助通信爱好者与专业人员更好地利用或应对这一电离层现象,提升短波通信的可靠性与效率。

weixin_30443813的博客 828

RNN循环神经网络实例

最近又忍不住把RNN这一块儿的东西给过了一遍,感觉还是有一些收获!所以想着给记录下来,因为也看到有人给我提意见说:我写的关于算法的文章太多了,还是要好好搞学术研究,所以就想着最近多更几篇关于深度学习网络方面的文章。 关于RNN循环神经网络的具体概念我就不细讲了,稍微把概念给提下吧,然后会说说其变形模型,以及会给出两个demo讲述其在不同领域的应用,方便大家理解! 1. RNN循环神经网络介绍 ...

飞奔的菜猪的博客 1万+

Cisco Firepower FMCv修改管理Ip方法

Cisco Firepower FMCv修改管理Ip方法

funnycoffee123的博客 1092

【Android】汽车电源管理:深入解析CarPowerManager与Suspend To RAM的交互机制

本文深入解析了Android Automotive OS中CarPowerManager与Suspend To RAM(深度睡眠)的交互机制。详细阐述了从车辆发出睡眠请求,到CarPowerManagementService协调应用状态,最终通过内核进入低功耗睡眠的完整流程,并探讨了唤醒机制、开发者实践及功耗优化策略,为车机应用开发与系统优化提供关键指导。

weixin_28339967的博客 293

RNN(循环神经网络)

RNN(循环神经网络)基本原理和基础调用

2401_88885149的博客 2028

【AI智能体】QClaw 对接GitHub处理自动化任务实战操作详解

QClaw 对接GitHub处理自动化任务实战操作详解

congge 4873

通俗理解RNN循环神经网络原理

1、RNN的简单介绍        我们前面提到的无论是人工神经网络还是CNN卷积神经网络,他们的前提都是:元素之间是相互独立的,前一个输入与后一个输入是没有关系的。但现实世界中,很多元素都是相互连接的,比如:某人说:我喜欢美食,其中最喜欢的吃的是肉蟹煲,以后有钱了一定要每天吃___.这里填空,人应该都知道是填“肉蟹煲“。因为我们是根据上下文的内容推断出来的,但机器要做到这一步就比较难了。因此,我们就需要使用循环神经网络了,他的本质是:像

qq_45301231的博客 6183

FineBI学习总结

交叉表:一组作为行标题显示在表的左部,另一组作为列标题显示在表的顶部。连接到数据,如果数据不满足数据分析的需求,先进行自助数据集处理。数据集分类:DB表、SQL、Excel、自助数据集。分组表:将报表中的数据按相同项合并为一组显示。1、数据准备2、制作仪表板3、分享仪表板。左合并:保留左边全部数据,合并右边。右合并:保留右边全部数据,合并左边。上下拼接:上下拼接到一张表数据。3、如何实现拼表:多表拼一张。分组–业务包–数据集–字段。字段分类:数值、文本和日期。目录–仪表板–数据准备。维度:文本和日期类型。

Rsun2018的博客 1563

华为OD机试双机位C卷 - 高矮个子排队 (C++/Py/Java/Js/Go/C)

华为OD机试双机位C卷 高矮个子排队,提供C语言、Java、C++、Python、Go、JavaScript源码实现,并提供完整思路讲解。华为OD机试 - 高矮个子排队。

qq_45776114的博客 2160

RNN循环神经网络之RNN十问

回忆一下RNN的基本结构。例如,在进行文本处理时,序列数据中包含了N条句子(这个N条句子之间相互独立,无先后顺序),一个 batch 可能包含了其中的若干条句子,样本间是可以并行计算的。随着序列长度的增加,较早时间步的信息在经过多次线性变换和非线性激活后,会逐渐被稀释,难以完整地保留和传递到后续时间步,导致模型对长序列中的早期信息记忆能力下降。如果不是按照batch输入,而是一个字一个字依次输入模型,计算梯度时采用的是随机梯度下降法,那么梯度的估计可能会非常不稳定,因为单个样本的特征可能具有较大的随机性。

wangxiaobin1314的博客 1702

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

深度学习——循环神经网络RNN

本篇博客详细的介绍了神经网络中的另一大分支——循环神经网络,对其原理、结构、分类进行了详细的阐述,并结合tensorflow框架,给出了如何构建简单的循环神经网络

尘心平的博客 3640

IMSL CNL 7.0.0 (x86-64)Crack

IMSL CNL 7.0.0 (x86-64)Crack intel的算法库破解文件,这是C++版本的破解文件

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面,电脑运行连游戏界面都一样大小,很怀旧,很真实,(英文版)强烈推荐,很小的文件,很难才找到的。

循环神经网络-RNN

有时候,我们仅仅需要知道先前的信息来执行当前的任务。​​ 这一坨,要消除这种情况就需要把这一坨在求偏导的过程中去掉,至于怎么去掉,一种办法就是使 ∂ S j ∂ S j − 1 ≈ 1 {\frac{\partial{S_{j}}}{\partial{S_{j-1}}}}\approx1∂。答案是,还有很多依赖因素。因为RNN结构能够很好利用序列之间的关系,因此针对自然界具有连续性的输入序列,如人类的语言,,语音等进行很好的处理,广泛应用于NLP领域的各项任务,如文本分类,情感分析,意图识别,机器翻译等。

顺其自然~专栏 3948

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

上一篇: 第5章 卷积神经网络
下一篇: 【回归算法】K近邻回归(KNN回归)详解
「已注销」
博客等级 码龄1年 312粉丝 132原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

「已注销」

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值