
深度学习
文章平均质量分 68
醉公子~
每天一点点,收获满满!
展开
-
文件加载出现 _pickle.UnpicklingError: could not find MARK
今天在调式项目代码时,出现加载文件的的错误_pickle.UnpicklingError: could not find MARK在使用pickle反序列化的时候,要预先导入二进制数据中存在的自定义类数据的类pickle反序列化的原理,反序列化应该是根据一个模板将二进制数据还原的过程,所以应该导入序列化时自定义类型解决方法:错误 _pickle.UnpicklingError: could not find MARK```引发是因为文件的偏移量不在开头。解决方法是拨打f.seek(0)`在加载原创 2021-11-28 17:09:00 · 10681 阅读 · 2 评论 -
PaddleOCR文字识别使用教程(训练自己的数据集)(一)
目录项目目录结构数据集准备labelimg参数修改训练预测项目目录结构链接:https://pan.baidu.com/s/1wbZvvonRBL3xy7xO3w57eA提取码:8888开源项目链接:https://github.com/PaddlePaddle/PaddleOCR/blob/release/2.3/doc/doc_en/recognition_en.md数据集准备label 路径 识别的内容img当然你的图片名称要和你label里面的原创 2021-11-17 15:34:46 · 7413 阅读 · 0 评论 -
The CPU_ NUM is not specified, you should set CPU_ NUM in the environment variable list。 CPU NUM
!!! The CPU_ NUM is not specified, you should set CPU_ NUM in the environment variable list。 CPU NUM indicates that how many CPUPlace are used in the current task. And if this parameter are set as N (equal to the number of physical CPU core) the program ma原创 2021-11-17 15:04:54 · 1434 阅读 · 2 评论 -
GAN生成对抗网络----手写数据实现
'''DCGAN on MNIST using KerasAuthor: Rowel AtienzaProject: https://github.com/roatienza/Deep-Learning-ExperimentsDependencies: tensorflow 1.0 and keras 2.0Usage: python3 dcgan_mnist.py'''# 设置GPU内存按需分配# from tensorflow.compat.v1 import ConfigProto#原创 2021-10-31 22:05:12 · 3625 阅读 · 3 评论 -
add 和concatenate的区别
目录add (值相加)concatenate (维度相加)add (值相加)张量元素内容相加,通道数没有改变(就是值相加)eg:Resnet的核心—恒等映射,就是在经过卷积之后,加上原来的特征值,但是维度不变,值变了concatenate (维度相加)concatenate操作用于将特征联合,多个卷积特征提取框架提取的特征融合或者是将输出层的信息进行融合。concatenate是通道数的合并,也就是说描述图像本身的特征增加了,而每一特征下的信息是没有增加。eg:dens原创 2021-10-31 20:39:11 · 896 阅读 · 0 评论 -
空洞卷积、可分组卷积
这里写目录标题空洞(扩张)卷积--------Dilated Convolution可分组卷积空洞(扩张)卷积--------Dilated Convolution空洞卷积(atrous convolutions)又名扩张卷积(dilated convolutions),在ICLR 2016上提出,其主要作用:在不增加参数和模型复杂度的条件下,可以指数倍的扩大视觉感受野(每一个输出是由诗句感受野大小的输入决定的)的大小。是针对图像语义分割问题中下采样会降低图像分辨率、丢失信息而提出的一种卷积思路。利用原创 2021-10-25 15:37:24 · 442 阅读 · 0 评论 -
卷积、可分离卷积、转置卷积(反卷积)
卷积卷积层的结构参数卷积核大小(Kernel Size):定义卷积操作的感受野。步幅(Stride): 定义卷积核遍历图像时的步幅大小。其默认值通常设置为1。设置大于1的值后对图像进行下采样,这种方式类似池化操作。边界扩充(Padding): 定义了网络层处理样本边界的方式。当卷积核大于1且不进行边界扩充,输出尺寸将相应缩小;当卷积核以标准方式进行边界扩充,则输出数据的空间尺寸将与输入相等。输入与输出通道(Channels): 构建卷积层时需定义输入通道I ,并由此确定输出通道O 。这样,可算出每原创 2021-10-24 15:23:45 · 1578 阅读 · 0 评论 -
跟踪算法-Deep sort简介
目录跟踪的基本思想跟踪框与检测框卡尔曼滤波算法---预测匈牙利算法----匹配对于目标跟踪,前提是能够对单张图片中的车辆进行检测,从而知道图片中车辆的位置,根据连续的图像中目标位置的轨迹预测,从而来实现跟踪。跟踪的基本思想如下图所示,设T1和T2是视频中连续的两帧图像, 如要在T2帧中跟踪T1中的红色框中的车辆,首先,在T2中进行车辆检测,检测到了三辆车,如黄色框所示;然后需要解决的问题是,要在T1中红色框和T2中黄色框之间建立关联,根据关联关系,确定T2中检测到的车哪辆是T1中的跟踪结果,并用该检测原创 2021-10-15 11:33:55 · 19958 阅读 · 4 评论 -
深度学习基础面试知识(二)
目录学习率的高低影响图像尺寸变大,CNN网络参数会变不?变为几倍?数据不平衡处理(正1000:负100)Epoch、Barch、Iteration模型参数最佳模型梯度爆炸、梯度消失学习率的高低影响如果在训练模型时,学习率低会导致训练速率缓慢(模型收敛缓慢),对权重更新十分小;但是在实际训练中,在局部最优时需要经行多次更新。太高如果在训练模型时,对权重更新过大,模型可能不会收敛,loss过大,模型效果较差;在实际训练中,容易在局部最优时(最低点)震荡。在我们实际使用的时候,最开始,一般会使用一个较大原创 2021-10-14 23:33:03 · 353 阅读 · 0 评论 -
深度学习基础面试知识(一)
目录Batch Normalization(BN)Bias和Variance(偏差和方差)模型评估指标前向过程反向求导反复迭代激活函数Batch Normalization(BN)BN是训练神经网络的一种方法目标:将特征(每层激活函数后的输出)归一化均值为0,标准差为1作用:可以使用更大的学习率,加快模型的收敛。(BN将不稳定的数据归一化为合理稳定的数据【数据起伏大】)BN可以有助于权重值的学习。(可以避免X值经过直线的非线性激活函数后过饱和的线性情况)可以有效的减少(抑制)过拟合现象B原创 2021-10-10 23:57:53 · 342 阅读 · 0 评论 -
python库 argparse的add_argument基础用法
argparse 是python自带的命令行参数解析包,可以用来方便地读取命令行参数。它的使用也比较简单。当你的代码需要频繁地修改参数的时候,使用这个工具可以将参数和代码分离开来,让你的代码更简洁,适用范围更广。name or flags - 选项字符串的名字或者列表,例如 foo 或者 -f, --foo。action - 命令行遇到参数时的动作,默认值是 store。store_const,表示赋值为const;append,将遇到的值存储成列表,也就是如果参数重复则会保存多个值;appe原创 2021-09-24 14:33:06 · 1444 阅读 · 0 评论 -
OCR-CRNN (CNN+CTC)文字识别,实践上手(三)
前言提示:这里可以添加本文要记录的大概内容:文字识别可根据待识别的文字特点采用不同的识别方法,一般分为定长文字、不定长文字两大类别。定长文字(例如验证码),由于字符数量固定,采用的网络结构相对简单,识别也比较容易;不定长文字(例如印刷文字、广告牌文字等),由于字符数量是不固定的,因此需要采用比较复杂的网络结构和后处理环节,识别也具有一定的难度。提示:以下是本篇文章正文内容,下面案例可供参考文章目录前言环境一、数据集二、数据集构造模型训练加载模型,识别图片检测结果完整代码下载结果展示环原创 2021-09-16 17:21:47 · 4784 阅读 · 8 评论 -
OCR--秒懂文字检测CTPN(CNN+LSTM) 二
简介CTPN是在ECCV 2016提出的一种文字检测算法。CTPN结合CNN与LSTM深度网络,能有效的检测出复杂场景的横向分布的文字,效果如下图,是目前比较好的文字检测算法。如下图所示,左面为传统RPN预测的框,右面为CTPN的框。由于RPN中anchor感受野的问题,不可能有一个anchor可以像传统的人车物检测那样覆盖了整行的文本。CTPN网络结构CTPN结构与Faster R-CNN基本类似,但是加入了LSTM层。CTPN 使用到了 CNN 和 双向LSTM 的网络结构:CNN使原创 2021-09-15 22:30:45 · 1785 阅读 · 1 评论 -
RuntimeError: CUDA out of memory. Tried to allocate 170.00 MiB (GPU 0; 3.82 GiB total capacity; 1.94
错误:RuntimeError: CUDA out of memory. Tried to allocate 170.00 MiB (GPU 0; 3.82 GiB total capacity; 1.94 GiB already allocated; 169.19 MiB free; 1.96 GiB reserved in total by PyTorch)我们可以看见内存是还有很多的,但是在运行程序的时候还是会出现CUDA out of memory解决方法一、正确调用指定GPU我们在调原创 2021-09-15 09:52:23 · 3884 阅读 · 0 评论 -
OCR-CTPN 文字检测
文本检测和一般目标检测的不同——文本线是一个sequence(字符、字符的一部分、多字符组成的一个sequence),而不是一般目标检测中只有一个独立的目标。这既是优势,也是难点。优势体现在同一文本线上不同字符可以互相利用上下文,可以用sequence的方法比如RNN来表示。难点体现在要检测出一个完整的文本线,同一文本线上不同字符可能差异大,距离远,要作为一个整体检测出来难度比单个目标更大——因此,作者认为预测文本的竖直位置(文本bounding box的上下边界)比水平位置(文本bounding box的原创 2021-09-07 15:11:29 · 8927 阅读 · 11 评论 -
机器学习之深度学习 二分类、多分类、多标签分类、多任务分类
多任务学习可以运用到许多的场景。首先,多任务学习可以学到多个任务的共享表示,这个共享表示具有较强的抽象能力,能够适应多个不同但相关的目标,通常可以使主任务获取更好的泛化能力。此外,由于使用了共享表示,多个任务同时经行预测时,减少了数据来源的数量,以及整体模型参数的规模,使预测更加搞效。在多个领域中,可以利用多任务学习来提高效果或者性能,比如垃圾邮件过滤、网页检索、自然语言处理、图像识别、语音识别等等。文章目录``多任务学习可以运用到许多的场景。``相关任务多任务学习二分类多分类多标签分类相关关系相关原创 2021-09-04 16:26:36 · 10675 阅读 · 4 评论 -
ModuleNotFoundError: No module named ‘tensorflow_core.estimator‘,亲测有效
最近在跑深度学习的时候tensorflow一直在报错,力推方法二:这个错误让我内心崩溃,呜呜呜~~~~在网上关于这个错误的内容也是很少,但是有用的却是很少,可能大家的错误内容一样,但是解决的方法确实各有千秋,在这里我给大家分享自己的解决办法:关于这个错误我是在Linux环境下面方法一重新配置新的环境,再安装tensorflow,但是这个方法有点扯淡了,因为这个大家都会;方法二引入matplotlib在这里我们需要注意的是,要在程序的最开始,最开头就先运行matplotlib,这里我可能是认原创 2021-06-25 14:12:04 · 6423 阅读 · 1 评论 -
模型训练出现 OSError: image file is truncated (28 bytes not processed)
在训练模型的时候,我们有可能会出现OSError: image file is truncated (28 bytes not processed)这样的错误,造成这种错误的原因是数据集的问题,出现了数据缺失eg:出现这个问题呢,有两种方法:跳过错误,抛弃本张图片,继续下面的训练对图像进行补全这里我们使用最简单的方法—抛弃数据,继续训练我们在代码的最开头添加如下代码:最开头最开头最开头因为它最保险from PIL import ImageFileImageFile.LOA原创 2021-06-16 18:20:49 · 1594 阅读 · 0 评论 -
Python-png转rgb
在针对深度学习方面,数据集的好与坏时时刻刻决定着你的模型的好与坏;png是有透明度,不能用于模型训练图像处理更是十分的重要,在机器学习(深度学习)当中70%的时间在数据预处理,20%在模型的调优调参,10%在于模型的检验;因此数据预处理十分重要的;下面将为大家讲解图像格式的转换PNG-----》RBGfrom PIL import Imageimport cv2 as cvimport os def PNG_JPG(PngPath): img = cv.imread(PngPat原创 2021-06-16 18:04:51 · 2303 阅读 · 2 评论 -
模型训练出现UnidentifiedImageError: cannot identify image file <io.BytesIO object at 0x7faaa82bdb90>
UnidentifiedImageError: cannot identify image file <io.BytesIO object at 0x7faaa82bdb90>在跑深度学习tensorflow框架是制作图片格式向tfrecord格式转化中,读取文件夹中的图片出现系统文件时候报错,提示有.DS_Store系统文件,还有就是有其他类型的图片htmlpngbmp反正什么乱七八糟的图片都有一大堆,特别是在数据集比较大的时候,3/4G的时候,特别头疼;在这里我是使用循环遍.原创 2021-06-16 17:12:45 · 8401 阅读 · 4 评论 -
Python-基于卷积神经网络斑马线识别分类,准确率高达99%
就那个方便就原创 2021-05-06 20:09:20 · 7926 阅读 · 40 评论