循环神经网络(rnn)讲解

深度学习笔记(四)——循环神经网络(Recurrent Neural Network, RNN) 阅读详情

•    循环神经网络(rnn)

•  RNN简介

•  Rnn基本结构

•  双向rnn基本结构

•  rnn梯度消失问题

•  RNN应用举例

 

•    RNN简介

•    循环神经网络(RNN)能够从序列和时序数据中学习特征和长期依赖关系。

•   循环神经网络(RNN)近几年在语言模型与文本生成,机器翻译,语音识别,图像描述生成等领域都取得了不错的效果。

 

 

 

 

 

•  Rnn基本结构

•    回顾一下神经网络的一般结构:

 

•    Z1 = W1*X+ bias

•    a1 = sigmoid(Z1)

•    Z2 = W2*a1+bias

•    a2 = sigmoid(Z2)

•    a2 = y(预测值)

 

 

 

 

 

 

•  将序列用标准神经网络处理会怎样??

•    存在两个问题:

•     难以解决每个训练样例输入输出长度不同的情况

•     标准的神经网络不能共享从文本不同位置上学到的特征。


•  RNN基本结构

•     a<0>是初始的隐状态,一般置为零向量。

•     a<i>代表输入序列中第i个输入所隐含的信息,即时间步i的激活值

•     x<i>代表输入序列中第i个字符,输入序列的长度为Tx

•     y^<i>代表与x<i>相对应的输出值。

 

•  RNN正向传播

•    计算公式如下:

 

 

 

•    激活函数:

•    循环神经网络常用的隐藏层激活函数是 tanh,有时候也会用 ReLU 函数



•    RNN正向传播示意图


•    RNN反向传播

•    三个步骤:

•    1.前向传播,计算神经网络的输出;

•    2.根据误差函数(或损失函数) 对所有所需训练的参数求偏导(其间要先计算每个神经元的偏导数);

•    3.基于2步,使用随机梯度下降算法计算每个参数的梯度.

 

•    RNN反向传播

 

•    定义损失函数: 

•    一个元素的损失函数:

叫做交叉熵损失函数(Cross Entropy Loss)

整个序列的损失函数:

•   

RNN反向传播示意图


对每一个参数求其偏导数
使用随机梯度下降方法更新参数


 

•  不同类型的循环神经网络

•    情感分析 many toone

•    音乐生成 one to many

•    命名实体识别 ,机器翻译       manyto many

 

•    双向循环神经网络

•    对于语言模型来说,很多时候光看前面的词是不够的,比如下面这句话:

 

•    双向循环神经网络模型能够让我们在序列的某处,不仅可以获取之前的信息,还可以获取未来的信息。

 

 

•   双向循环神经网络


•  深层循环神经网络

•    前面我们介绍的循环神经网络只有一个隐藏层,我们当然也可以堆叠两个以上的隐藏层,这样就得到了深度循环神经网络

•    深层循环神经网络



•    循环神经网络中的梯度消失

•    “The cat, which already ate ……, was full.”

•    “The cats, which ate ……, were full.”

•   以下图的反向传播为例(假设每一层只有一个神经元且对于每一层                           ,其中σ为sigmoid函数)

 

•    可以推导出:


•    Sigmoid的导数图像如下图;

•    可见其导数最大值为0.25,而我们初始化的网络权值|w|通常小于1,因此,                 

•    上面的链式求导,层数越多,求导结果     越小,因而导致梯度消失的情况出现。


•    梯度爆炸问题的出现原因

 

•    梯度消失和梯度爆炸的解决方案

•   1.使用relu、leakrelu等激活函数

•   Relu函数                                        leakRelu函数

 

•   2.使用LSTM的结构设计

•   3.梯度剪切、正则:主要是针对梯度爆炸提出的,其思想是设置一个梯度剪切阈值,然后更新梯度的时候,如果梯度超过这个阈值,那么就将其强制限制在这个范围之内。这可以防止梯度爆炸。

 

 


深度学习之RNN(循环神经网络) 一 RNN概述     前面我们叙述了BP算法, CNN算法, 那么为什么还会有RNN呢?? 什么是RNN, 它到底有什么不同之处? RNN的主要应用领域有哪些呢?这些都是要讨论的问题.     1) BP算法,CNN之后, 为什么还有RNN?     细想BP算法,CNN(卷积神经网络)我们会发现, 他们的输出都是只考虑前一个输入的影响而不考虑其它时刻输入的影响, 比如简单的猫,狗,手写数... 阅读详情

相关推荐

循环神经网络(RNN)算法详解

原因很简单,思考一个问题,如果输入模型的数据有且仅有“hello”这一个信息的时候,模型能输出“world”的可能性微乎其微,因为语言的特点是只有结合上下文信息才能做出准确的预测。模型会输出一个概率分布,表示各个词作为下一个词的概率。(3)Bi-RNN(Bidirectional Recurrent Neural Network):Bi-RNN 是一种能够同时考虑过去和未来的信息的 RNN 变体模型,它由两个RNN模块组成,一个是正向RNN,另一个是反向RNN,最终输出是正向和反向RNN输出的拼接。

极光喵的博客 5164

神经网络——循环神经网络(RNN)

讲述了循环神经网络的原理以及在MATLAB中的实际运用

Krisit的博客 3万+

循环神经网络 (RNN) 原理与代码实例讲解

循环神经网络 (RNN) 原理与代码实例讲解 1. 背景介绍 1.1 问题的由来 在处理序列数据时,如文本、语音或时间序列数据,传统的方法如卷积神经网络(CNN)和深度神经网络(DNN)往往难以捕捉到序列间的依赖关系。例如,文本中的句子

AI天才研究院 1497

RNN

RNN(Recurrent Neural Network)是一类用于处理序列数据的神经网络。首先我们要明确什么是序列数据,摘取百度百科词条:时间序列数据是指在不同时间点上收集到的数据,这类数据反映了某一事物、现象等随时间的变化状态或程度。这是时间序列数据的定义,当然这里也可以不是时间,比如文字序列,但总归序列数据有一个特点——后面的数据跟前面的数据有关系。 ...

对算法理论、算法工程落地、大数据工具等感兴趣 32万+

循环神经网络RNN原理与代码实例讲解

循环神经网络(Recurrent Neural Networks, RNNs)作为一种经典的序列建模技术,在自然语言处理(Natural Language Processing, NLP)、语音识别、图像描述生成等领域取得了显著成效。RNN能够处理任意长度的序列数据,通过记忆历史信息来预测未来的输出,这使得它在时间序列预测、序列标注等任务中具有天然优势。

欢迎来到我的优快云空间!这里聚焦AI大模型应用实战,分享前沿技术、实战案例与开发经验。 1209

ROS新手必看:如何用URDF快速搭建UR5机械臂模型(附完整代码)

本文为ROS新手提供了一份详细的UR5机械臂URDF建模实战指南。通过解析URDF核心概念,逐步讲解如何定义link与joint,并整合官方网格文件,最终构建出完整的、可在RViz中可视化与控制的UR5模型。文章还介绍了模型验证、调试技巧以及如何添加碰撞与惯性属性,为后续的物理仿真与算法开发奠定坚实基础。

pz89012345的博客 499

【RNN】深入浅出讲解循环神经网络(介绍、原理)

1、RNN的背景 前馈神经网络不考虑数据之间的关联性,网络的输出只和当前时刻网络的输入相关。然而在解决很多实际问题的时候我们发现,现实问题中存在着很多序列型的数据(文本、语音以及视频等),现实场景如室外的温度是随着气候的变化而周期性的变化的,以及我们的语言也需要通过上下文的关系来确认所表达的含义。 这些序列型的数据往往都是具有时序上的关联性的,既某一时刻网络的输出除了与当前时刻的输入相关之外,还与之前某一时刻或某几个时刻的输出相关。而前馈神经网络并不能处理好这种关联性,因...

程序星空实验室 7万+

探针卡技术演进:从金线微针到MEMS探针的Wafer Sort革命

本文探讨了探针卡技术从传统金线微针到MEMS探针的演进,及其对晶圆测试(Wafer Sort)的革命性影响。随着芯片焊垫间距进入45微米以下,MEMS技术凭借其超高精度、超长寿命和卓越的信号完整性,成为应对高密度、高速及3D IC测试挑战的关键,显著提升了测试效率与稳定性。

lstm7chronicler的博客 365

循环神经网络(RNN)原理通俗解释

1.RNN怎么来的? 2.RNN的网络结构及原理 3.RNN的改进1:双向RNN 4.RNN的改进2:深层双向RNN 4.1 Pyramidal RNN 5.RNN的训练-BPTT 6.RNN与CNN的结合应用:看图说话 7.RNN项目练手 1.RNN怎么来的? 循环神经网络的应用场景比较多,比如暂时能写论文,写程序,写诗,但是,(总是会有但是的),但是他们现在还不能正常使...

多元思考力 21万+

Ubuntu 22.04下Realtek R8125网卡驱动安装避坑指南(附DKMS自动编译配置)

本文详细介绍了在Ubuntu 22.04系统上为Realtek R8125 2.5GbE网卡安装驱动的完整流程与避坑指南。针对内核通用驱动r8169的冲突问题,重点讲解了如何通过DKMS(Dynamic Kernel Module Support)实现驱动的持久化自动编译与安装,确保系统内核升级后网卡驱动依然有效。内容包括环境准备、驱动源码获取、DKMS标准配置、驱动冲突解决(设置黑名单)以及日常维护与故障排查方法,旨在为用户提供一个一劳永逸的稳定解决方案。

echo99的专栏 1025

2.13寸电子墨水屏HINK-E0213+esp8266

很久以前买的一块电子墨水屏,运气很好,这个型号HINK-E0213资料很全,而且微雪官网也有相关电路资料等。

梦境虽美,却不长. 3005

史上最详细循环神经网络讲解(RNN/LSTM/GRU)

原文地址 https://zhuanlan.zhihu.com/p/123211148

cjneo的专栏 2651

博客系统 - 系统简介与首页设计

用Bootstrap实现手机端的博客导航栏效果。

m0_53450409的博客 1238

灰灰深入浅出讲解循环神经网络(RNN)

我来钱庙复知世依,似我心苦难归久,相须莱共游来愁报远。近王只内蓉者征衣同处,规廷去岂无知草木飘。 你可能以为上面的诗句是某个大诗人所作,事实上上面所有的内容都是循环神经网络写的,是不是感觉很神奇呢?其实这里面的原理非常简单,只需要对循环神经网络有个清楚的理解,那么就能够实现上面的效果,在读完本篇文章之后,希望大家都能够学会如何使用循环神经网络来创作文本。 本次讲解RNN我会从以下四个方面来讲解

NTUhuihui的博客 2691

一个响应ping包延迟偏大的问题

前段时间客户反馈一个使用pc上的命令行ping无线设备(WiFi4)时,设备平均响应时间(测试时长2小时,1秒Ping一次)相比其它机型偏慢的问题,并上传上具体的时间的Log.从log中看到,大多数包的响应还是比较快的,只是个别响应时间较长,且响应时间长的包时间几乎都是一样的100多ms.如下是部分响应时间截图. 整个2小时的测试时间里,总是时不时的出这么上102,104ms的响应时间,这直接导致了平均响应时间被拉大.于是本地测试,也发现了类似的延迟.本地测试时,现象略有...

流风回雪的博客 1万+

古月学院《如何在Gazebo中实现阿克曼转向车的仿真》课程资料在ROS Noetic版本中运行时的常见错误及解决方法

   最近想在Gazebo中开发一些仿真内容,于是购买了古月学院的《如何在Gazebo中实现阿克曼转向车的仿真》课程,但是由于ROS 版本的更新,拿到手的课程资料不能直接在ROS Noetic版本中运行,经过我这几天的探索,对遇到的错误及解决方法进行了整理,方便后面购买课程的小伙伴更快的成功运行程序    在文章正式开始之前,先放一下我之前为了寻找该资料报错的原因,而写的两篇与该课程相关的文章链接,感兴趣的可以自行阅读    以阿克曼转向车为例对URDF和XACRO文件进行解读(点击可跳转)    将x

慕羽★的博客 5976

循环神经网络RNN(很简洁的讲解)

介绍 循环神经网络(recurrent neural network)或 RNN (Rumelhart et al., 1986c) 是一类用于处理序列数据的神经网络。就像卷积网络是专门用于处理网格化数据 X(如一个图像)的神经网络, 循环神经网络是专门用于处理序列 x(1)x(1)x^{(1)}, …. x(T)x(T)x^{(T)} 的神经网络。正如卷积网络可以很容易地扩展到具有很大宽度和...

qq_29462849的博客 4904

图解ADAS电源系统架构:看懂这张图,搞懂前装摄像头的供电秘密!

别以为ADAS系统就是“摄像头 + SoC”,其实最难搞的是供电系统,尤其是要满足车规级ASIL-D安全等级时。供电时序、电压稳定性、电源监控、冗余通信链路,一个都不能少。😤一旦电源选型不对,轻则系统卡顿,重则全车失控,不是闹着玩的。

weixin_43199439的博客 677

pytorch学习——循环神经网络RNN讲解及其实现

循环神经网络RNN(Recurrent Neural Network )是一类广泛应用于序列数据建模和处理的神经网络模型。相比于传统的前馈神经网络,RNN在处理序列数据时引入了时间维度的循环连接,使得网络能够保持对先前信息的记忆和上下文依赖。RNN的一个关键特点是其内部的循环结构,允许信息在网络中进行传递和交互。在RNN中,每个时间步的输入不仅包括当前时间步的输入数据,还包括前一时间步的隐藏状态(hidden state)。

weixin_48637535的博客 1834

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

Outlook Express 6 (OE6) for Win7/Win8/Win10

英文版 Outlook Express6.0, 兼容Win7/Win10/WinXP,解压就可用。

上一篇: lintcode:删除排序数组中的重复数字
下一篇: 数字三角形的最短路径
心之所向丶7
博客等级 码龄11年 17粉丝 59原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值