文本识别--Focusing Attention: Towards Accurate Text Recognition in Natural Images

                                           Focusing Attention: Towards Accurate Text Recognition in Natural Images

 

现有的最好的文本识别技术是基于注意力的编码器 - 解码器框架，其以纯数据驱动的方式学习输入图像和输出序列之间的映射。基于注意力机制的方法在复杂背景和低质量的图像上的效果不好----容易把一般特征和目标混淆。本文采用Focusing Attention Network来消除attention存在的漂移drifted attention的问题。FAN由an attention network (AN)用于负责识别字符目标（这与之前的方法一样），a focusing network (FN)负责通过评估AN是否正确的关注目标区域来调节attention，并且这里的网络使用的是ResNet-based网络，使得特征表示更加丰富。

之前的文本识别中，编码器将输入图像转换为一系列特征向量，每个特征向量对应输入图像的一部分，在解码阶段，attention网络（AN）首先计算对齐因子[3]通过参考目标字符的历史和用于生成合成矢量（也称为一瞥矢量）的编码特征向量，从而实现了关注区域和相应的地面实况标签之间的对齐[3,5]。 然后，使用递归神经网络（RNN）基于瞥见向量和目标字符的历史来生成目标字符。

在attention机制下，低质量图像的对齐评估很容易被破坏，使得性能不好。换句话说，关注模型不能准确地将每个特征向量与输入图像中的对应目标区域相关联。 我们为这种现象注意力漂移attention drift。 也就是说，AN的关注区域在一定程度上偏离图像中的目标字符的适当区域。 这促使我们开发一些机制，将AN的注意力集中在输入图像中的目标字符的正确的区域上。

we propose a novel method called FAN to accurately recognize text from natural images.

文本识别一般有两种方法：bottom-up（先检测单个字符，再组合） and top-down（直接预测整个文本 ）。

In the AN component, alignment factors  between target labels and features are generated。