深度学习之RNN(循环神经网络)

一 RNN概述

    前面我们叙述了BP算法, CNN算法, 那么为什么还会有RNN呢?? 什么是RNN, 它到底有什么不同之处? RNN的主要应用领域有哪些呢?这些都是要讨论的问题.

    1) BP算法,CNN之后, 为什么还有RNN?

    细想BP算法,CNN(卷积神经网络)我们会发现, 他们的输出都是只考虑前一个输入的影响而不考虑其它时刻输入的影响, 比如简单的猫,狗,手写数字等单个物体的识别具有较好的效果. 但是, 对于一些与时间先后有关的, 比如视频的下一时刻的预测,文档前后文内容的预测等, 这些算法的表现就不尽如人意了.因此, RNN就应运而生了.

    2) 什么是RNN?

    RNN是一种特殊的神经网络结构, 它是根据"人的认知是基于过往的经验和记忆"这一观点提出的. 它与DNN,CNN不同的是: 它不仅考虑前一时刻的输入,而且赋予了网络对前面的内容的一种'记忆'功能.

    RNN之所以称为循环神经网路，即一个序列当前的输出与前面的输出也有关。具体的表现形式为网络会对前面的信息进行记忆并应用于当前输出的计算中，即隐藏层之间的节点不再无连接而是有连接的，并且隐藏层的输入不仅包括输入层的输出还包括上一时刻隐藏层的输出。

    3) RNN的主要应用领域有哪些呢?

    RNN的应用领域有很多, 可以说只要考虑时间先后顺序的问题都可以使用RNN来解决.这里主要说一下几个常见的应用领域:

    ① 自然语言处理(NLP): 主要有视频处理, 文本生成, 语言模型, 图像处理

    ② 机器翻译, 机器写小说

    ③ 语音识别

    ④ 图像描述生成

    ⑤ 文本相似度计算

    ⑥ 音乐推荐、网易考拉商品推荐、Youtube视频推荐等新的应用领域.

 

二 RNN(循环神经网络)

    1) RNN模型结构

    前面我们说了RNN具有时间"记忆"的功能, 那么它是怎么实现所谓的"记忆"的呢?

                                                                                      图1 RNN结构图 

    如图1所示, 我们可以看到RNN层级结构较之于CNN来说比较简单, 它主要有输入层,Hidden Layer, 输出层组成.

并且会发现在Hidden Layer 有一个箭头表示数据的循环更新, 这个就是实现时间记忆功能的方法.

    如果到这里你还是没有搞懂RNN到底是什么意思,那么请继续往下看!

                                                                               图2 Hidden Layer的层级展开图

    如图2所示为Hidden Layer的层级展开图. t-1, t, t+1表示时间序列. X表示输入的样本. St表示样本在时间t处的的记忆,St = f(W*St-1 +U*Xt). W表示输入的权重, U表示此刻输入的样本的权重, V表示输出的样本权重.

    在t =1时刻, 一般初始化输入S0=0, 随机初始化W,U,V, 进行下面的公式计算: