30、基于多任务学习的文本图像超分辨率提升

基于多任务学习的文本图像超分辨率提升

1. 相关工作

1.1 场景文本识别（STR）

近年来，随着深度学习的发展，场景文本识别（STR）技术取得了显著进展。传统方法尝试以自下而上的方式将字符提取为单词来进行STR，但这些方法的缺点是不提供上下文等顺序信息。

• CRNN ：结合了CNN和RNN，无需分割字符即可从整个文本图像中提取顺序信息，并使用CTC损失函数进行训练，提高了预测的准确性。
• ASTER ：采用空间变换网络（STN）进行图像校正，并使用注意力机制，使文本图像在各种形状下具有鲁棒性。
• 其他先进方法 ：如使用二维注意力的方法和使用Transformer进行STR的方法，在STR基准测试中取得了高性能。

然而，真实场景中的低分辨率（LR）文本图像，即使使用这些先进方法也难以识别。在本方法中，使用CRNN来计算特征驱动损失，使用ASTER来评估超分辨率（SR）模型的性能。

1.2 场景文本图像超分辨率

场景文本图像SR的任务是提高真实场景中LR文本图像的分辨率和质量。目前，使用深度学习针对文本图像的SR模型研究还不多。

• 部分研究 ：将通用的单图像SR方法应用于文本图像，如将SRCNN扩展到文本图像SR作为骨干网络，或使用深度拉普拉斯金字塔网络对LR文本图像进行上采样。但这些方法大多使用从高分辨率（HR）图像通过双三次或双线性下采样得到的LR图像进行训练，