猫猫与橙子的博客

造字符识别数据

记录使用pytorch训练crnn

记录首次使用yolov8-obb遇到的问题

跑通CLIP4STR，用于字符识别的预标签制作

了解各类版面信息

paddle OCR中的CRNN模型转ONNX模型，附测试代码。

作者提出了一个真实场景下的中英文基准数据集，命名为Real-CE，目的是为了恢复低精度的中文字符

yolov8不使用DFL

paddleocr推理突然退出

记录使用自己的数据，基于PaddleDetection工程，跑通PPYOLOE-R算法；

证件扣取要点记录，扣取出证件阅读器上红外去背景图片中的卡证数据

使用传统机器学习算法进行字符识别

判断图中有没有证件图片

目的：将paddlepaddleocr的字符识别模型转换为pytorch的模型过程：mobilenetv3_small的小模型在转换过程中成功转换了backbone的参数，但是head（两个双向LSTM）转换失败，因为类别数不同，而LSTM中涉及到两个fc层两个lstm层，其中的fc层的参数和类别相关联，所以双向的LSTM参数无法进行转换；结果：只对backbone的参数进行了转换和拷贝原始paddlepaddle工程链接：https://github.com/PaddlePaddle/Padd

安装paddlepython3 -m pip install paddlepaddle-gpu出现报错：g>(paddle::AnalysisConfig const&)----------------------Error Message Summary:----------------------ExternalError: Cuda error(35), CUDA driver version is insufficient for CUDA runtime

使用分类的方法去处理标注有英文注解的外文；

1.远东集装箱网http://www.fareastcontainers.com/infordata/containertypecode.html2.5分钟学习最详细集装箱代码https://zhuanlan.zhihu.com/p/522120603.海运集装箱校验码怎么计算?https://zhidao.baidu.com/question/233607470.html...

《Sequential Deformation for Accurate Scene Text Detection》出处：北京国家信息科学技术研究中心；清华；韩国首尔现代汽车集团航空公司论文：https://www.ecva.net/papers/eccv_2020/papers_ECCV/papers/123740103.pdfAbstract由于文字尺寸、方向、形状和比例的多种多样，CNN对于这种几何变换能力有限；本文中，作者提出了一个序列变形方法对line-shape的场景文字进行建模

前言：最近在查找字符识别模型提速的方法，所以查看了该篇文章；South China University of Technology（华南理工大学）代码：https://github.com/summerlvsong/Aggregation-Cross-Entropy论文：https://arxiv.org/abs/1904.08364Abstract本文提出一个新方法：Aggregation cross-entroy（ACE） loss-聚合交叉熵lossACE loss特点：1.

前言：最近在想办法压缩有rnn的网络，所以查看了这篇文章出处：University of Waterloo（滑铁卢大学）Abstract本文作者认为轻量级基础网络在没有进行网络结构更改，额外的训练数据或额外特征以外，依然可以具备很强的竞争能力。作者就提出了使用BERT-大模型对BiLSTM进行蒸馏，得到的结果是与BERT相比，参数少了近100倍，推理时间提升了15倍；结论：该文的方法不进行详细的描述，总言之，作者在预测得分层使用了欧式距离进行了蒸馏，并使用了teacher网络对未知标签的数据

注：对于含有rnn的模型怎样设置参数不回传在模型蒸馏的常规训练中，大模型的参数都是设置不更新回传，使用self.model_T.eval()就可以达到固定大模型参数的效果；但是当模型网络结构中包含有rnn，例：class BidirectionalLSTM(nn.Module): def __init__(self, nIn, nHidden, nOut): super(BidirectionalLSTM, self).__init__() s

运行深度学习框架：tensorflow使用时遇到的报错：W tensorflow/stream_executor/platform/default/dso_loader.cc:60] Could not load dynamic library 'libcudart.so.11.0'; dlerror: libcudart.so.11.0: cannot open shared object file: No such file or directory; LD_LIBRARY_PATH: /h

1.train_transfroms = transforms.Compose([ transforms.ColorJitter(brightness=0.5), transforms.ToTensor()])

PAN网络中使用的loss（5）式中的4个loss函数，第一个是文本区域loss，第二个是核（kernel）区域loss，两个loss都是使用的diceloss；而第三个loss Lagg用于衡量文本实例和其对应kernel的loss，其作用是保证同一文本实例的kernel和文本实例内其他像素之间的距离<.第四个loss函数Ldis loss用于是不同文本实例的kernel的loss，其作用是保证任意两个kernel之间的距离>；目录1.dice loss1.Dice系.

最近依然在做护照和身份字符识别模型的调优，前期的护照字符检测和识别模型已经可以使用；护照字符识别总的训练样本（公开数据集+护照数据集）有100多万，加入身份证字符识别数据后，数据量也达到了300多万，类别也从 最初的5000多类（汉字+标签符号+英文数字字母）上升到7000多类，这也加大了训练难度，在训练过程中，我也遇到过一些机器使用的问题，现将其总结如下：目录1.机器内存不够2.机器的gpu使用率不高（cpu操作瓶颈）3.网络结构太大，batch_size不能设置太大，该怎么办？4.读

论文链接：https://arxiv.org/abs/2002.03741团队：西安电子科技大学 西澳大学 发布于：ICASSP（CCFB类）会议目录Abstract2.PROPOSED METHOD2.1 Architecture Overview2.2. Textual Attention Tower2.3 Loss function3.Experiments3.1 Benchmark Datasets and Data Augmentation3.2 ...

论文链接：https://arxiv.org/pdf/1911.08947.pdf工程链接：https://github.com/MhLiao/DB该算法的特点就是：后处理速度快，与PANNet相比，可以节省差不多一半的时间（在本人台式机cpu运行）；0.算法的整体框架主要三个步骤：首先：图像输入特征提取主干，提取特征； 其次：特征金字塔上采样到相同的尺寸，并进行特征级联到特征F； ...

字符识别常用图像增强：1.padding+crop作用：图像做padding，再随机crop，可以减少检测模型在检测过程中产生的检测结果不稳定，文字目标在整图位置中的偏移带来的影响；2.图像亮度对比度变化作用：亮度是一种对比出的效果，它受光线影响；对比度可以简单的解释为图像矩阵中像素的最大值和最小值之差。通过改变图片的对比度和亮度，可以减少识别效果受光线的影响；coding： def contrast_brightness(self, im: np.ndarra.

工程链接：https://github.com/MhLiao/DB最近在学习DBNet，然后由于本人想偷懒，然后使用了以上链接的工程（这样就不需要升级cuda和cudnn），最后发现该工程实在是写的太优雅了，完全不知道哪里是数据加载，哪里是测试，各种数据增强又在什么位置，所以现在就我的经验给大家盘点一下；遇到报错balance_cross_entropy_loss.py", line 49, in forward negative_loss, _ = torch.topk(negativ

1.文字识别中常用的编码解码框架可用于处理透视失真（perspective distortion）和曲线形状（curve shape）的文字，但是依然无法处理：图像模糊，明暗不均衡的图像，以及字符不完整的图像。2.作者认为当前的识别方法都是基于局部视觉特征，而不是采用的全局语义信息。基于以上两点，作者提出了语义增强的编码-解码框架用于识别低质量的场景文字。语义信息用于监督编码模块，初始化解码模块。同时作者将ASTER方法整合到给方法中来（作为一个范例），实现了端对端的识别。

CRNN算法详解中文文字检测与识别的评测方法CTC算法详解Sequence Modeling With CTC相关论文：Connectionist Temporal Classification其他：CTPN

最近在标注实例分割的数据，使用vott的工具，将vott学习使用过程记录下：VoTT使用教程microsoft / VoTT

文中需要学习的知识点：Sequence to Sequence Learning with Neural Networkssequence to sequence model小记Beam Search Algorithm理解LSTM（通俗易懂版）Thin Plate Spline(薄板样条函数)薄板样条函数(Thin plate splines)的讨论与分析Posit...

目录什么是seq2seq第一种seq2seq第二种seq2seqbeam-search算法参考文献什么是seq2seqseq2seq 模型就像一个翻译模型，输入是一个序列（比如一个英文句子），输出也是一个序列（比如该英文句子所对应的法文翻译）。这种结构最重要的地方在于输入序列和输出序列的长度是可变的。第一种seq2seq第一次提出seq2seq应该是在论文...

目录1.数据标注问题2.数据中图片和标签的命名格式1.数据标注问题标注多边形的的顶点，使用逆时针标注，否则就需要使用代码对数据标签进行检测，纠正标注方向；在测试的时候，默认标注的是四边形，不是四边形，也会报错；2.数据中图片和标签的命名格式数据中图片和标签的命名格式格式最好符合ICDAR2015的训练样本的命名方式，否则就又需要更改源码，因为作者的源码中使用了很多...

1.Traceback (most recent call last): File "/home/###/Downloads/softmare/pycharm-community-2018.3.2/helpers/pydev/pydevd.py", line 1741, in <module> main() File "/home/###/Downloads/so...

最近在进行护照的字符识别，然后属ocr项目的小白，入手的网络结构PSENet：以下总结了一些好心人的贡献：OCR之PSE检测算法代码详解CV-Paper-文字检测-Shape Robust Text Detection PSENet详细记录超轻量中文OCR LSTM模型ncnn实现PSENet网络的dataset部分解析...