深度学习-RNN注意力模型

简介

*注意力模型来源于人脑对事物的观察，由于人脑在观察事物时，人眼睛聚焦的位置只是很小的一块，这时人脑会聚焦在这一小块图案上，此时，人脑对图的关注并不是均衡的，是有权重区别的。

*注意力模型多用于对图片的文字说明，对于图片的描述，我们接下来会介绍两种类型的图片描述方式：

         [1]传统图像描述   

         [2]注意力模型

传统图像描述

*传统方式是类似下图的方式，从形式上是将输入图片传入一个CNN中来获取对图片特征的提取(输出层信息)，并将获取的特征作为输入到RNN网络中，通过RNN输出对应的文字描述，但这种组合形式能描述的文字数不多，准确率不高，而且图片特征只引入了一次，信息灵活性不强

注意力模型

*Attention Model相对于传统模式的改进有：          

        [1]将原始图特征多次喂入RNN模型，使得模型的多个位置都能看到图片特征。          

        [2]让网络学会查找关注点，让网络根据关注点来聚焦图像生成文字内容描述。

*经过以上两点的改进，我们可