总体框架
文章利用Faster R-CNN作为基本框架。
(1)使用RPN生成轴向对齐的包围框,包围着面向任意方向的文本;
(2)对RPN提出的每一个文本框,用不同的pooled size ( 7 × 7, 11 ×3, 3 × 11 ) 进行池化,并利用连接的特征同时预测文本/非文本得分、轴向对齐框和倾斜最小面积框;
(3)多任务损失更新参数(得分+轴向框+倾斜框);
(3)最后,使用倾斜NMS来获得检测结果。
问题定义
在ICDAR 2015比赛中,附带场景文本检测的ground truth以顺时针方向四个点表示(x1,y1,x2,y2,x3,y3,x4,y4)(图a),可能不是矩形框,但在本文中,作者将任意方向的场景文本检测任务近似为检测一个倾斜的最小面积矩形(图b,c)。
虽然表示倾斜矩形的直接方法是用角度表示其方向,但由于角度目标在某些特殊点上不稳定,所以没有采用这种策略。例如,一个旋转角度为90度的矩形与旋转角度为-90度的矩形非常相似,但是它们的角度却有很大的不同。这使得网络很难学会检测垂直文本。
文章假设第一个点总是表示场景文本左上角的点。(x1,y1)为第一点坐标(实心红点),(x2,y2)为第二点坐标(顺时针方向),h为倾斜最小面积矩形的高度。
Rotational Region CNN(R2-CNN)
(1)RPN用于提出轴向对齐的框,实验证明,采用较小的锚点对场景文本检测有一定的帮助。
(2)