端到端的OCR版面分析算法
OCR版面分析痛点
当前OCR之后的版面分析工作大家都是规则写的,自己也深受规则之苦,看到ocr输出的一大堆文字和坐标就头皮发麻。最近受了chineseocr作者模板引擎的启发,做了两个端到端的版面分析算法,希望能够帮到各位ocrer。github

算法设计初衷
最开始的想法是在检测网络上增加类别判断,预测位置的同时加上box类别的判断,但是这样通用性就大大降低了,违背不干预原始的OCR算法的初衷,版面分析的算法应该和OCR算法无缝衔接,所以模型输入应该是OCR输出的box坐标和相应文本。
基于此,延伸出两个思路,一个是忽略box间的位置关系,直接将box坐标和文本编码,送入分类器,即基于xgboost的分类方案。另一个考虑box间的相互关系,将版面分析当成一种翻译任务,即基于seq2seq的翻译方案
数据增广策略
其次标注数据不能太多,如果标注投入过大就有些得不偿失了,算法设计初衷就是希望只标注一些具有代表性的版面,因此增广策略就显得特别重要。增广策略有以下几条:
- 随机扰动检测框坐标点1~3个像素
- 随机切分检测框,并随机拆分文本
- 随机替换 数字、日期等文本内容
- 随机丢弃3~5检测框


提出两种端到端版面分析算法,旨在简化OCR后的复杂版面理解过程。一种基于xgboost分类,适用于固定版式;另一种基于seq2seq,适应自由拍照场景。通过数据增广策略减少标注成本。
最低0.47元/天 解锁文章
&spm=1001.2101.3001.5002&articleId=109491521&d=1&t=3&u=3040ee1921594babb98477dcd697d37a)
1498





