Understanding-LSTMs[中文翻译]

LSTM详解 反向传播公式推导 部分参考: http://colah.github.io/posts/2015-08-Understanding-LSTMs/ 1. 结构 1.1 比较 RNN: LSTM: 其中的notation: 1.2 核心思想: LSTM在原来的隐藏层上增加了一个 The key to LSTMs is the cell state, the horizont... 阅读详情

原文标题:Understanding-LSTMs
原文地址:https://colah.github.io/posts/2015-08-Understanding-LSTMs/
原作者:Christopher Olah
译者:Horcham


循环神经网络

每秒钟人类都不会从头开始思考。在阅读本文时,您可以根据您对以前单词的理解来理解每个单词。你不要把所有东西都扔掉,再从头开始思考。你的想法有持久性。

传统神经网络不能做到这一点,似乎是一个主要的缺点。例如,想象一下,您想要分析电影中每一点发生的事件。传统神经网络如何能够利用其关于电影中以前的事件的推理来通知以后的事情是不清楚的。

循环神经网络解决了这个问题。它们是具有循环的网络,允许信息持续存在。

这里写图片描述

在上图中,一大块神经网络, 一个看一些输入 xt 并输出一个值 ht 。循环允许信息从网络的一个步骤传递到下一个。

这些循环使得复发性神经网络似乎是神秘的。然而,如果你再想一点,结果是它们并不是一般的神经网络的不同。循环神经可以被认为是同一个网络的多个副本,每一个都传递一个信息给后继者。考虑如果我们展开循环会发生什么:

循环神经网络展开

这种链状特征揭示了循环神经网络与序列和列表密切相关。它们是用于此类数据的神经网络的自然结构。

而且他们肯定是用的!在过去几年里,将RNN应用于语音识别,语言建模,翻译,图像字幕等各种问题已经取得了令人难以置信的成功。我将讨论可以通过RNN实现的令人惊叹的专长,使Andrej Karpathy的优秀博客“循环神经网络的不合理的有效性”成为可能。但他们真的很神奇。

这些成功的关键在于使用“LSTM”,这是一种非常特殊的循环神经网络,对于许多任务来说,它们比标准版本好得多。几乎所有令人兴奋的结果基于循环神经网络是通过他们实现的。这篇文章将探讨这些LSTM。

长期依赖的问题

RNN的要求之一是他们可能能够将先前的信息连接到当前任务的想法,例如使用先前的视频帧可以通知对当前帧的理解。如果RNN可以做到这一点,他们将非常有用。但可以吗? 是的。

有时,我们只需要查看最近的信息来执行当前的任务。例如,考虑一种语言模型,尝试基于以前的单词来预测下一个单词。如果我们试图预测“the clouds are in the sky ”的最后一个字,我们不需要任何进一步的语境 - 下一个字将是 sky 很明显。在这种情况下,如果相关信息与所需地点之间的差距很小,则RNN可以学习使用过去的信息。

但也有需要更多上下文的情况。考虑尝试预测文本中的最后一个单词“I grew up in France… I speak fluent French ”。最近的信息表明下一个单词可能是一种语言的名称,但如果我们想缩小到时哪种语言,我们需要 France 的背景,从进一步回来。相关信息之间的差距和需要变得非常大的点是完全可能的。

不幸的是,随着差距的增加,RNN无法学会连接信息。

在理论上,RNN绝对有能力处理这样的“长期依赖”。人们可以仔细挑选参数来解决这种形式的问题。可悲的是,实际上,RNN似乎无法学习。Hochreiter(1991)[German]和Bengio等人深入探讨了这个问题。(1994),他们发现了一些很可能是困难的根本原因。

幸运的是,LSTM没有这个问题!

LSTM网络

长短期记忆网络(Long Short Term Memory networks,通常称为“LSTM”)是一种特殊的RNN,能够学习长期的依赖关系。他们由Hochreiter&Schmidhuber(1997)介绍,并得到了许多人的好评和普及,在后续工作中。他们在各种各样的问题上工作得很好,现在被广泛使用。

LSTM是显式地设计以避免长期依赖问题的。记住长时间的信息实际上是他们的属性,而不是要尽力才能得到的效果!

所有循环神经网络都具有神经网络重复模块链的形式。在标准RNN中,该重复模块将具有非常简单的结构,例如单个tanh层。

LSTM也具有这样的链结构,但重复模块具有不同的结构。没有一个单一的神经网络层,而是四层,且以非常特殊的方式进行交互。

LSTM中的重复模块包含四个交互层。

不要担心发生了什么的细节。我们将逐步介绍LSTM图。现在,让我们尽量适应我们将要使用的符号。

在上图中,实线代表一个向量,从一个节点的输出到其他节点的输入。粉色圆圈表示逐点的运算,如向量加法。黄色框是学习神经网络层。实线合并表示串联合并。实线分岔表示其内容正在复制,副本将转到不同的位置。

LSTMs背后的核心理念

LSTM的关键是cell state,水平线穿过图的顶部。cell state类似于输送带。它贯穿整条链,只有一些小的线性相互作用。这让信息可以流畅地传递下去且保持不变。

LSTM确实具有去除或添加信息到cell的能力,由称为gate的结构仔细调节。gate是一种可选地让信息通过的方式。它们由Sigmoid层和点乘运算组成。

Sigmoid函数输出一个介于0到1的值,描述每个组件应该通过多少。值为0表示“没有任何通过”,而值为1意味着“让一切通过!”。一个LSTM可以包含三个gate,用来保护和控制cell的状态。

LSTMs的训练过程

我们的LSTM的第一步是决定我们要从cell中丢弃什么信息。这个决定是由一个被称为“遗忘门层(forget gate layer)”的Sigmoid函数构成的。它接受 ht−1 和 xt ,并输出一个介于0到1的值传递给cell state Ct−1 。1代表“完全保持信息”,而0代表“彻底忘记该信息”。

回到我们的一个语言模型的例子,试图根据所有以前的语料来预测下一个单词。在这样一个问题中,cell state可能包括当前受试者的性别,从而可以使用正确的代词。当我们看到一个新主题时,我们想要忘记这个老主题的性别。

遗忘门层

下一步是决定我们要在cell state下存储的新信息。这有两部分。首先,称为“输入门层(input gate layer)”的sigmoid层决定了我们将更新哪些值。接下来,tanh层创建新的候选值向量 Ct~ ,可以添加到state。在下一步中,我们将结合这两个值来对状态的更新。

在我们的语言模型的例子中,我们希望将新对象的性别添加到cell state中,以替换我们将要忘记的旧对象。

现在是时候使用新的cell state Ct ,来更新旧的cell state Ct−1 。以前的步骤已经决定了要做什么,我们只需要做到这一点。

旧state乘以 ft ,用来忘记我们在遗忘门层决定忘记的事情。然后加上 it∗Ct~ 。这是新的候选值,按照我们决定更新每个state值的多少来缩放。

在语言模型的情况下,这个步骤就是用来放弃关于旧主题性别的信息,并添加新信息。

这里写图片描述

最后,我们需要决定我们要输出什么。此输出将基于我们的cell state,但将是一个过滤版本(filtered version)。首先,我们运行一个Sigmoid层来确定要输出cell state的哪些部分。然后,用tanh去作用cell state(将值映射到-1到1之间),并乘以Sigmoid层的输出,以便我们只输出我们决定的部分。

对于语言模型示例,由于它只是看到一个对象,它可能需要输出与动词相关的信息,以防下一步发生。例如,它可能会输出对象是单数还是复数,以便我们知道动词应该如何组合在一起,如果这是接下来的内容。

这里写图片描述

LSTM的变体

到目前为止,我所描述的是一个很正常的LSTM。但并不是所有的LSTM都与上述相同。事实上,似乎几乎每一篇涉及LSTM的论文都使用了一个略有不同的版本。差异很小,但其中一些值得提及。

Gers&Schmidhuber(2000)介绍的一种受欢迎的LSTM变体。它添加了“窥视孔连接(peephole connection)”。这意味着我们让门层(layer gate)可以接受cell state的数据。

这里写图片描述

上面的图表在所有的门都增加了窥视孔链接,但许多论文只使用了部分的窥视孔链接。

另一种变化是使用耦合的遗忘门和输入门。我们让遗忘门和输入门一起去做决定,而不是单独让遗忘门决定要忘记什么,或者是输入门要添加什么。只当我们要在输入内容时忘记。当我们忘记旧的东西时,我们只会向cell state中输入新的值。

LSTM的一个稍微更显着的变化是由Cho等人介绍的门控循环单元或GRU 。(2014)。它将遗忘门和输入门组合成一个单一的“更新门”,它还合并了cell state和hidden state,并进行了一些其他更改。所得到的模型比标准LSTM模型更简单,并且越来越受欢迎。

这里写图片描述

这些只是最显着的LSTM变体中的几个。还有很多其他的,如Yao等人的 Depth Gated RNNs 。(2015)。还有一些完全不同的处理长期依赖的方法,例如Koutnik等人的 Clockwork RNNs 。(2014)。

哪些变体最好?分歧是否重要?Greff等人 (2015)做一个很好的比较流行的变种,发现他们都是一样的。Jozefowicz等人 (2015年)测试了超过一万种RNN结构,发现某些工作在某些任务上比LSTM更好。

结论

此前,我提到了人们通过RNN实现的显着成果。基本上所有这些都是使用LSTM来实现的。他们真的为大多数工作做得更好!

写成一组方程式,LSTM看起来很吓人。希望在这篇文章中一步步走过他们,使他们变得更加平易近人。

LSTM是我们可以用RNN完成的一大步。很自然的想法:还有另一大步吗?研究人员的共同观点是:“是的!有一个下一步,值得关注!“这个想法是让RNN的每个步骤从一些较大的信息集合中挑选信息。例如,如果您使用RNN创建描述图像的标题,则可能会选择图像的一部分来查看其输出的每个字。其实,Xu等 (2015)做到这一点 - 如果你想要注意,可能是一个有趣的起点!有一些真正令人兴奋的结果使用注意力,似乎还有更多的是在角落…

注意力不是RNN研究中唯一令人兴奋的线索。例如,Kalchbrenner 等人的 Grid LSTM (2015)似乎非常有希望。在生殖模型中使用RNN进行工作 - 如Gregor 等 (2015),Chung,et al。(2015)或拜耳与奥桑多尔(2015) - 也似乎很有趣。最近几年对于卷积神经网络来说已经是一个激动人心的时刻了,下一个希望只有更加如此!

致谢

我很感谢一些人帮助我更好地了解LSTM,评论可视化,并提供关于这篇文章的反馈。

我非常感谢Google的同事提供有用的反馈意见,特别是Oriol Vinyals,Greg Corrado,Jon Shlens,Luke Vilnis和Ilya Sutskever。我也感谢许多其他朋友和同事花时间帮助我,包括达里奥·阿莫迪(Dario Amodei)和雅各布·斯坦哈特(Jacob Steinhardt)。我非常感谢Kyunghyun Cho对我的图表进行了深思熟虑的通信。

在这篇文章之前,我在两个我在神经网络上教授的研讨会系列中练习了解释LSTM。感谢所有参加这些活动的人,对他们的耐心和反馈。

  1. 除了原作者,很多人对现代LSTM做出了贡献。一个非全面的列表是:Felix Gers,Fred Cummins,Santiago Fernandez,Justin Bayer,Daan Wierstra,Julian Togelius,Faustino Gomez,Matteo Gagliolo和Alex Graves。
罗兰C系统评估(美国交通部报告) 描述了美国政府对罗兰C政策,美国从2000年以来都很重视罗兰系统的评估,虽然有了GPS系统,但是罗兰还是它的重要备份。 立即下载

相关推荐

金山词霸

金山词霸green zhong ying

【转】Understanding LSTM

Recurrent Neural Networks Humans don’t start their thinking from scratch every second. As you read this essay, you understand each word based on your understanding of previous words. You don’t throw...

luchi007的专栏 588

WVP-GB28181-Pro配置避坑指南:从零到上线全流程详解(含ZLM自动同步技巧)

本文详细解析了WVP-GB28181-Pro视频平台的配置流程,特别针对国标视频平台部署中的常见陷阱,如stream-ip/sdp-ip配置错误、ZLM自动同步问题及端口冲突等,提供了实用的解决方案和优化建议,帮助开发者快速实现从零到上线的全流程部署。

weixin_30836759的博客 94

(译)理解LSTM网络 ----Understanding LSTM Networks by colah

目录 1. RNN的不足之处 2. LSTM 2.1 LSTM原理 3 逐步理解 LSTM 1. forget gate layer遗忘门 2. input gate layer 3. output gate layer 4LSTM 的变种 GRU 4.1. GRU 与LSTM的对比 5. 其它变种 5.1. peephole connections 1. RNN的不足...

冷月无声的博客 2049

ESP32拓展板DIY全攻略:从零打造你的传感器控制中心(附PCB设计文件)

本文详细介绍了如何从零开始DIY ESP32拓展板,打造多功能传感器控制中心。内容涵盖项目规划、硬件设计、PCB布局、制作测试全流程,并提供进阶优化建议和实战案例。特别适合嵌入式硬件爱好者学习ESP32拓展板开发,实现各类传感器的高效集成与控制。

blockchain9miner的博客 1081

android广告SDK原理详解(附源码)

广大的开发者吃糠咽菜开发了一两款APP,获取了一些流量后自然就会想到流量变现,一般情况下大家会选择到百度联盟或者Google Admob这些广告服务提供商注册开发者账号,在自己的APP里面加上几行广告位代码,集成他们的广告SDK包。然后谋事在人,成事在天,只有每天看报表查查收益。   也有一些开发者为了能够提高自己的变现水平,同时接入了好几家的sdk,哪家出的收益高一点我就出哪家的广告,但是这

rmcgogo的博客 1万+

Understanding LSTM Networks(LSTM的网络结构)

Recurrent Neural Networks 人类不是每时每刻都从头开始思考的。当你读这篇文章的时候,你理解每个单词是基于你对以前单词的理解。你不会把所有的东西都扔掉,然后从头开始思考。你的思想有毅力。传统的神经网络无法做到这一点,这似乎是一个主要的缺点。 例如,假设你想对电影中每一点发生的事件进行分类。目前尚不清楚传统的神经网络如何利用其对电影中先前事件的推理来告知后来的事件。递归神经...

秀呀秀的博客 1万+

Kaggle大神Abhishek的机器学习框架实战:从红酒数据集看交叉检验的坑与解法

本文通过Kaggle竞赛Grandmaster Abhishek Thakur的实战经验,以红酒数据集为例,深入探讨了机器学习中交叉检验的五大陷阱与优化策略。文章详细解析了决策树max_depth调优过程中的过拟合现象,对比了五种主流交叉检验方法的适用场景,并提供了回归问题中的分层技巧和特征工程陷阱的解决方案。最后,总结了交叉检验方案选型决策树,帮助数据科学家在实际项目中提升模型泛化能力。

h6j7k8l9p0的博客 967

理解LSTMs (Long Short Term Memory Networks)

Understanding LSTM Model

RaySunWHUT 3482

Hypermesh二次开发实战:从Tcl/Tk脚本到Ext API的进阶之路

本文系统介绍了Hypermesh二次开发的进阶路径,从自动化重复操作的Tcl/Tk脚本入门,到利用HMASCII接口深度读写模型数据,最终深入Ext API进行高性能计算与功能定制。通过实战案例,帮助工程师掌握从脚本录制到C++插件开发的完整技能,显著提升CAE前处理效率与自动化水平。

weixin_29306875的博客 672

论文理解【LLM-OR】—— 【PaMOP】Guiding Large Language Models in Modeling Optimization Problem

针对 LLM 求解运筹优化任务,PaMOP 通过约束划分树分离子问题,实现复杂优化问题的分块建模,并结合求解器反馈与反向翻译一致性检查迭代纠错,降低子任务复杂度,提升可执行率与建模准确性。

佚失的诗篇 1008

理解LSTM模型

写在前面:这是翻译自colah的一篇博客,原文关于LSTM神经网络模型的理解写的非常直观、简单易懂,所以翻译过来帮助大家学习理解LSTM模型。 当然我不是按照原文一字不落的翻译,而是摘出其中对模型理解最有帮助的部分,然后用我自己理解的方式和语言来写的博文。这是我翻译博文的一贯做法。 有兴趣的可以自行去看原文,比较简短,原博客地址:http://colah.github.io/posts/2015-08-Understanding-LSTMs/ 一、循环神经网络RNN RNN循环神经网络使用循环核来实

Toby的博客 1万+

【002】C++ 语言核心:关键字深度解析与分类指南

auto:自动类型推导bool:布尔类型break:跳出循环或switch语句case:switch语句分支char:字符类型class:定义类const:常量continue:结束当前循环,开始下一次循环default:switch语句默认分支delete:删除对象do:do-while循环double:双精度浮点数类型else:if语句的否定分支enum:枚举类型explicit:显式构造函数export:导出符号extern:声明外部变量或函数。

Lion_Long的博客 1251

理解 LSTM 网络(Understanding LSTM Networks)

参考链接 参考博客:http://colah.github.io/posts/2015-08-Understanding-LSTMs/ 标准的循环神经网络(RNN) 模型图:RNN包含一个循环,在上面的示例图中,神经网络的模块A,正在读取某个输入XtX_tXt​,并输出一个值 hth_tht​。循环可以使得信息从当前步传递到下一步。 展开RNN:链式的特征揭示了 RNN 本质上是与序列相关的。他...

ACM_hades的博客 748

激光器安规详细解读 - 一级 - 并以940波长为例

前言: 作为人工智能的重要解决方案,激光作为不可或缺的一个选项。但是,激光的安规问题始终是要得到关注。尤其是3D识别技术在人脸上的使用的时候,如何判读激光器的安全使用规范,变得非常重要。本文,尝试从欧洲激光标准IEC 60825-1:2014,以及国家激光产品规则标准GB 7247.1,抛砖引玉,写出自己的理解。 本节,主要讨论,人脸识别需要符合的安全等级1: 1 激光标准的分类 激光国际...

山云的专栏 5037

IDEA的使用指南

IDEA基于java的使用手册,可以最快速的上手,在使用中不断的丰富自己的使用技巧.

机器学习常见面试题

1、L1范式和L2方式的区别 (1)L1范式是对应参数向量绝对值之和 (2)L1范式具有稀疏性 (3)L1范式可以用来作为特征选择,并且可解释性较强(这里的原理是在实际Loss function中都需要求最小值,根据L1的定义可知L1最小值只有0,故可以通过这种方式来进行特征选择) (4)L2范式是对应参数向量的平方和,再求平方根 (5)L2范式是为了防止机器学习的过拟合,提升...

weixin_30823001的博客 438

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

论文学习「翻译」:《Understanding LSTM Netword》,附原文

递归神经网络 人类并不是每一秒都从头开始思考。当你阅读这篇文章时,你会根据对前几个词的理解来理解每个词。你不会扔掉一切,然后再从头开始思考。你的思想是有持久性的。 传统的神经网络并不能做到这一点,这似乎是一个主要的缺点。例如,想象一下你要对影片中每个时间点发生的事件进行分类。目前传统的神经网络还不清楚如何利用其对电影中先前事件的推理来告知后来的事件。 递归神经网络解决了这个问题。它们是包含循...

qq_41297934的博客 1042

锂电池充电器电路设计 里面有电路

锂电池充电器电路设计 里面有电路 3.7V升压到5V电路设计。

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

理解LSTM网络(Understanding LSTM Networks)原文与翻译

个人认为到目前为止,对LSTM解释最清楚的一篇文章

cuiyuan605的专栏 5023

理解LSTM网络

理解LSTM神经网络

weixin_44966641的博客 2356

深度学习---RNN循环神经网络&LSTM解决长依赖问题

神经网络只能单独的处理一个个的输入,前一个输入和后一个输入是完全没有关系的。但是,在我们处理某些任务时,要能够更好的处理序列的信息,即前面的输入和后面的输入是有关系的。输入和输出都是等长的序列。这里使用RNN循环神经网络来处理这类问题。 一、RNN循环神经网络 循环神经网络会记忆之前的信息,并利用之前的信息影响后面节点的输出。隐藏层之间的结点是有连接的,输入不仅包括输入层的输出还包括上时刻隐藏层的输出。 循环神经网络首先把所有的输入值进行词组的分解 隐藏层的作用是对序列数据提取特征 h2 的计算和 h1

wowMJX的博客 7762

Understanding LSTM Networks

Recurrent Neural Networks Humans don’t start their thinking from scratch every second. As you read this essay, you understand each word based on your understanding of previous words. You don’t throw

baidu_23905649的博客 613

【LSTM】Understanding-LSTMs

http://colah.github.io/posts/2015-08-Understanding-LSTMs/

weixin_33976072的博客 190

LSTM论文翻译-《Understanding LSTM Networks》

1.     循环神经网络(RNNs) 人们并不是每一秒都重新开始新的思考的,就像你读这篇论文,你基于以前对词句的认知来理解每一个词,而不是丢掉以前所有的知识,重新开始构思新的想法。人们的思维是持续的。 传统的神经网络是不会持续思考的,这是它的主要短板,例如,想象你要区分一部电影在每个时间段发生那种事件,传统的神经网络(以下称NN)怎样合理的将电影前面发生的事件传递给后面的事件呢?这是不明的。

老笨妞 2万+

(译)理解 LSTM 网络 (Understanding LSTM Networks by colah)

@翻译:huangyongye 原文链接: Understanding LSTM Networks 前言:其实之前就已经用过 LSTM 了,是在深度学习框架 keras 上直接用的,但是到现在对LSTM详细的网络结构还是不了解,心里牵挂着难受呀!今天看了 tensorflow 文档上面推荐的这篇博文,看完这后,焕然大悟,对 LSTM 的结构理解基本上没有太大问题。此博文写得真真真好!!!为了帮

大学之道,在明明德 6万+

理解LSTM神经网络 (Understanding LSTM Networks翻译)

** Understanding LSTM Networks ** 原文章地址:https://colah.github.io/posts/2015-08-Understanding-LSTMs/ 作者:Christopher Olah(Google Brain, Research Scientist.) https://colah.github.io/about.html ** 循环神经网络Re...

shuzip的博客 2789
上一篇: LASSO推导及其在恒星光谱上的应用
下一篇: 图像识别的深度学习
Horcham
博客等级 码龄10年 22粉丝 14原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值