阅读笔记——Real-time Scene Text Detection with Differentiable Binarization

概述

当前文字检测主要分为基于检测和基于分割两种方法。相对于检测的方法，分割方法更便于检测各种不同形状的文本。它的缺点主要是后处理复杂，而且这部分可能成为时间性能瓶颈。而基于检测的方法优点是后处理简单，缺点是不好处理不规则形状的文本，例如弧形文本。

对于现有的基于分割的方法，在后处理方面思路基本上一致：对于一个概率图，首先要选定一个固定阈值，将这个概率图进行二值化，随后需要设计算法将二值化区域形成一个个的文字实例。这个阈值的设置，对于检测精度有着较大的影响。如下图所示，这里提出的方法对概率图的每个像素都预测一个二值化阈值，使得不用手动设置全局二值化阈值。

方法

论文了提出一种可微分的二值化阈值方法（Differentiable Binarization，DB），改善了文字实例边缘分割精度和二值化阈值设置过程。

整体网络架构如下图所示。

在训练阶段首先输入图像经过一个特征金字塔网络，得到 $\frac{1}{4}$ 大小的特征图 $F$，然后基于这个特征图 $F$，预测一个概率图（Probability map，P）、一个阈值图（Threshold map，T）以及一个二值化图（approximate binary map，B）。在训练阶段对 $P$、$T$ 及 $B$ 都计算损失。$P$ 和 $B$ 还共用 GT 信息。

在推理阶段，文字实例 box 就可以由 B 或者 P 计算得来，由这两个得到的文字 box 差异不大。为了计算效率直接使用概率图输出，移除阈值图分支。box 根据下面几个步骤产生：

• 首先设置常数阈值将概率图或者近似二值图二值化（例如设置阈值 0.2）；
• 然后在二值图中获取文字连通区域；
• 将连通区域使用 Vatti clipping algorithm 算法进行扩张得到最终的文字区域。

二值化

对于一个大小 $H\times W$ 的特征图，给定一个自定义阈值 $t$，二值化结果就是：

这个过程是不可微分的，因此无法放到网络里面联合优化。作者提出可微分二值化 DB 过程：

其中 $k$ 经验设置为 50，$T$ 是学习到的自适应阈值图，$P$ 是概率图结果。DB 模块不仅有利于帮助网络区分文字区域和背景，也可以帮助区分挨得很近的文字实例。如下图所示，对于预测错误的文字边界，DB 将给予很大的损失惩罚。

DB 生成的自适应阈值图有利于网络区分文字边界。另外为了提高对于宽高比很极端的文字实例的性能，还引入了可变形卷积（Deformable convolution）。

标签生成

概率图和二值化图标签生成：受 PSENet 网络的方法启发，对于一个多边形标注，使用 Vatti clipping algorithm 算法，完成对多边形内部的收缩，收缩之后多边形内部区域作为概率图 GT。

阈值图标签生成：首先将多边形标注向外部扩充，扩充之后边界和概率图的边界之间的区域作为阈值图 GT 区域，也就是文本实例边界区域。

整体如下图所示：

优化目标

损失函数 $L$ 是 概率图损失 $L_s$、二值化图 $L_b$、阈值图损失 $L_t$ 三者的加权和：
$$L=L_s+\alpha \times L_b+\beta \times L_t$$

其中 $L_s$ 和 $L_b$ 为交叉熵损失，$L_t$ 为 $L1$ 损失。设置 $\alpha$、$\beta$ 分别为 1.0 和 10。

实验及指标

在 SynthText、MLT-2017 dataset、ICDAR-2015、MSRA-TD500 dataset、CTW1500 dataset、Total-Text dataset 数据集上进行了实验验证。

对每个实验，先在 SynthText 上预训练 100k 步，然后在对应的数据集上 finetune 1200 epoch。输入图像都 resize 到 640×640。

最终在各个数据集上的指标如下图。