【多模态】paper阅读笔记：TrOCR

论文：https://arxiv.org/abs/2109.10282
代码/模型：https://aka.ms/trocr
光学字符识别（OCR）是将手写或印刷文本的图像转换成机器编码的文本，可应用于扫描文档、照片或叠加在图像上的字幕文本。一般的光学字符识别包含两个部分：文本检测和文本识别。

• 文本检测用于在文本图像中定位文本块，粒度可以是单词级别或是文本行级别。目前的解决方案大多是将该任务视为物体检测问题，并采用了如YoLOv5 和 DBNet 的传统物体检测模型。
• 文本识别致力于理解文本图像并将视觉信号转换为自然语言符号。该任务通常使用编码器-解码器架构，现有方法采用了基于 CNN 网络的编码器进行图像理解，以及基于 RNN 网络的解码器进行文本生成。

在文本识别领域中，Transformer 模型被频繁采用，其结构的优势带来了显著的效率提升。然而，现有方法仍主要采用 CNN 网络作为主干网络，并在此基础上配合自注意力机制来理解文本图像；另外，现有方法还依旧采用 CTC 作为解码器，配合额外的字符级别的语言模型来提高整体的准确率。这种混合模型虽然取得了巨大的成功，但仍然有很大的提升空间：

1. 现有模型的参数是在合成或人工标注的数据上从零开始训练的，没有探索大规模预训练模型的应用。
2. 图像 Transformer 模型变得愈发流行，特别是最近提出的自监督图像预训练。现在应当开始探索预训练的图像 Transformer 是否可以替代 CNN 主干网络，以及预训练的图像 Transformer 是否可以在单一网络中配合预训练文本 Transformer 进行文本识别任务。

因此，微软亚洲研究院的研究员们聚焦文本识别任务展开了多项研究，并提出了首个利用预训练模型的端到端基于Transformer 的文本识别 OCR 模型：TrOCR，模型结构如图1。