CTPN文本检测与tensorflow实现

最新推荐文章于 2025-05-28 14:48:11 发布

林ch

最新推荐文章于 2025-05-28 14:48:11 发布

阅读量1.1w

点赞数 16

CC 4.0 BY-SA版权

分类专栏：文本检测

本文链接：https://blog.youkuaiyun.com/linchuhai/article/details/84191406

1. 引言

近年来，随着人工智能的发展，文本检测在很多任务中都是一项基本任务，比如广告牌中文字识别、智能驾驶路牌的检测、身份证识别、快递地址识别等。这些任务中首先的一项就是文本检测，即检测出文本在图像中的位置，这样才能便于后续的文本识别。

文本检测的任务类似目标检测，但是又要比目标检测难，因为目标检测只需对物体进行分类，当只看到物体的半个区域时，其实就基本可以识别出物体是什么类别，但是对于文本检测来说，当只看到局部区域时，可能只是看到一个单词中的个别字母或者一个汉字中的偏旁部首，因此，很难识别出对应的文本是什么，因此，对于文本检测来说，它的精度要求比目标检测要高得多。

文本检测目前主要分为两种，一种是OCR(Optical Character Recognition, 光学字符识别)，一种是STR(Scene Text Recognition,场景文本识别)，前者主要是用于对一些扫描文档的文本检测，要求背景必须比较干净，并且识别的精度比较低，速度也比较慢，而后者则是对一些自然场景的文本检测，其难度更大，一方面是背景信息及其复杂，另一方面是文字的角度、字体、颜色等千变万化，因此，面临的挑战也更大。

这几年来，随着卷积神经网络的发展，场景文本识别得到了很大的发展，其中，最经典是16年Zhi Tian等人提出来的CTPN(Connectionist Text Proposal Network)模型，该模型极大的简化了检测的流程，也使文本检测的效果、速度、稳健性得到了质的提升。因此，本文将对这个模型进行介绍，并用tensorflow进行实现。

2. CTPN模型介绍

2.1 CTPN的模型结构

CTPN模型主要包括三个部分，分别是卷积层、Bi-LSTM层、全连接层，其结构如下图所示。

首先，在卷积层部分，CTPN选取的是16年比较火的VGG16模型进行特征提取，作者选择了VGG16模型中conv5的feature maps作为图像最后的特征，假设此时feature maps的尺寸为 $H \times W \times C$ ；

接着，由于文本之间存在序列关系，因此，作者引入了递归神经网络，采用的是一层Bi-LSTM层，作者发现引入了递归神经网络对文本检测的效果有一个很大的提升，如下图所示，第一行是不采用递归神经网络的效果，第二行是采用了Bi-LSTM后的效果。具体的做法是采用一个 $3 \times 3$ 的滑动窗口，提取feature maps上每个点周围 $3 \times 3$ 的区域作为该点的特征向量表示，此时，图像的尺度变为 $H \times W \times 9C$ ，然后将每一行作为序列的长度，高度作为batch_size，传入一个128维的Bi-LSTM，得到Bi-LSTM层的输出为 $W \times H \times 256$ ；

最后，将Bi-LSTM的输出接入全连接层，在这一部分，作者引入了anchor的机制，即对每一个点用k个anchor进行预测，每个anchor就是一个盒子，其高度由[273，390，...，11]逐渐递减，每次除以0.7，总共有10个。作者采用的是三个全连接层分支。

第一个分支是对k个auchor的纵坐标，每一个anchor的纵坐标有两个，分别是盒子的y坐标中心和高度，因此，总共的维度是2k。具体表示如下：

$\begin{array} { l l } { v _ { c } = \left( c _ { y } - c _ { y } ^ { a } \right) / h ^ { a } , } & { v _ { h } = \log \left( h / h ^ { a } \right) } \\ { v _ { c } ^ { * } = \left( c _ { y } ^ { * } - c _ { y } ^ { a } \right) / h ^ { a } , } & { v _ { h } ^ { * } = \log \left( h ^ { * } / h ^ { a } \right) } \end{array}$

其中， $\mathbf { v } = \left\{ v _ { c } , v _ { h } \right\}$ 、 $\mathbf { v } ^ { * } = \left\{ v _ { c } ^ { * } , v _ { h } ^ { * } \right\}$ 分别是预测的坐标和真实的坐标， $c _ { y } ^ { a }$ 和 $h ^ { a }$ 分别是一个anchor的y坐标中心和高度， $c _ { y }$ 和 $h$ 分别是预测出来的y坐标中心和高度， $c^{*} _ { y }$ 和 $h^{*}$ 分别是真实的y坐标中心和高度。

第二个分支是对k个anchor的score进行预测，即该盒子是否包含文本的概率，每个盒子对应一个二分类，因此，总共是2k个维度。当score>0.7时，认为该auchor包含文本。

第三个分支是对k个anchor的横坐标进行预测，可以在每个anchor盒子的左侧或右侧的横坐标，因此，k个盒子对应的维度就是k。之所以需要这个分支主要是为了修正anchor的水平位置。坐标的具体表示如下：

$o = \left( x _ { s i d e } - c _ { x } ^ { a } \right) / w ^ { a } , \quad o ^ { * } = \left( x _ { s i d e } ^ { * } - c _ { x } ^ { a } \right) / w ^ { a }$

其中， $x _ { s i d e }$ 是预测出来的距离anchor水平坐标（左或右坐标）最近的坐标， $x _ { s i d e } ^ { * }$ 是真实的x坐标， $c_ { x } ^ { a }$ 是anchor的x坐标中心， $w ^ { a }$ 是anchor的宽度，也就是16。

2.2 side-refinement

当模型预测完成后，由于是对feature-map上每个点进行预测，因此，其预测出来只是对应一个anchor，其形式就如上图所示，因此，还需要将这些anchor进行连接，将其连接成一个完整的文本线。因此，作者又引入了一个叫做side-refinement的算法，用于文本线构造，其思想大致如下：

首先，对于第i个text proposal，记为 $B _ { i }$ ，寻找其配对的邻居 $B _ { j }$ ，记配对后关系为 $B _ { j } - > B _ { i }$ ，其中，要求 $B _ { j }$ 满足以下条件：

$B _ { j }$ 距离 $B _ { i }$ 的长度在50个像素点以内，并且其score最大
$B _ { j }$ 与 $B _ { i }$ 在垂直方向的重合度必须大于0.7

接着，对 $B _ { j }$ 进行反向寻找近邻，当其近邻也刚好是 $B _ { i }$ 时，则 $B _ { i }$ 和 $B _ { j }$ 的文本线构建成功。

下图是用了refinement和不用refinement的对比，红色线是用了refinement的效果，黄色线是不用refinement的效果。

2.3 模型的损失函数

由于全连接层对应的是三个分支，因此，其损失也对应着有三个，作者将这三个损失进行了加权，其形式如下：

$L \left( \mathbf { s } _ { i } , \mathbf { v } _ { j } , \mathbf { o } _ { k } \right) = \frac { 1 } { N _ { s } } \sum _ { i } L _ { s } ^ { c l } \left( \mathbf { s } _ { i } , \mathbf { s } _ { i } ^ { * } \right) + \frac { \lambda _ { 1 } } { N _ { v } } \sum _ { j } L _ { v } ^ { r e } \left( \mathbf { v } _ { j } , \mathbf { v } _ { j } ^ { * } \right) + \frac { \lambda _ { 2 } } { N _ { o } } \sum _ { k } L _ { o } ^ { r e } \left( \mathbf { o } _ { k } , \mathbf { o } _ { k } ^ { * } \right)$

其中， $L _ { s } ^ { c l } , L _ { v } ^ { r e } \text { and } l _ { o } ^ { r e }$ 分别为score、坐标、side-refinement对应的损失函数，其中， $L _ { s } ^ { c l }$ 采用的是softmax loss， $L _ { v } ^ { r e } \text { and } l _ { o } ^ { r e }$ 采用的是regression loss。