banxia1995-优快云博客

原创训练FCN-VGG16，F1值到了0.60固定值之后不上升情况

训练FCN-VGG16s网络，使用的自己的数据集，在F1值达到0.6之后，一直没有变化，调节超参数一点作用都没有用，训练结果如下所示：检查每一层的gradients，发现如下情况：upscore的两层upfilters的趋势不对。检查了网络定义的地方，发现如下情况：get_deconv_filter函数里面添加了如下两行：# init = tf.truncat...

2019-11-10 08:11:25 988

转载深度学习网络层初始化时需要注意的点

在我的问题中，我刚开始使用的初始化函数是 tf.truncated_normal,与random_normal 函数不同，truncated_normal的范围限制在两个标准差之间，会把不符合条件的随机数丢弃。当我将初始化函数换做tf.random_normal之后效果并没有好转，分析了原因，是因为我设置的每一层的权重初始化值都是tf.random_normal(shape, 0.0, 0.1...

2019-11-09 08:52:39 462

原创 TypeError: 'NoneType' object is not iterable

出现这种错误，只有两种情况：1.函数的返回值就是空的2.函数有返回结果，就是None3.判断语句没有写好导致。

2019-10-23 16:07:31 923

原创导入预训练npy文件，pre,rec和f1 值都为0的问题

导入预训练保存的npy文件，在验证集上验证之后，结果全为0，如下所示：根本就没有用到npy文件的参数，保存npy文件时的准确率是[0.40708093109416515, 0.725117621973812, 0.5214307259199678]检查之后发现保存的npy文件中有些参数没有保存，所以导致导入过程中出现参数匹配不上的问题。...

2019-10-18 17:12:41 2023 1

原创训练FCN-VGG16网络，F1值随着训练会下降问题

本人使用的是FCN-VGG16网络，出现的问题是随着训练次数的增加，F1值会下降，并且有时候会一直下降，如下图所示。这个问题一直没有找到原因，虽然histogram一直都有显示是在学习，下图为histogram图：...

2019-09-26 20:20:37 819

原创 TypeError: only integer scalar arrays can be converted to a scalar index

array_prob = np.array(prob_pixel)print('the reshape prob ',array_prob.shape)array_prob=array_prob.reshape(array_prob[0]*array_prob[1],array_prob[2],array_prob[3])出现如上错误，TypeError: only integer ...

2019-09-21 08:47:14 821

原创训练FCN-VGG16网络的时候，loss值不收敛，经过多次尝试，问题解决

我是根据tesorflow平台的fcn-vgg16进行修改，修改为两分类，出现训练结果如下所示：并且输出结果的hostogram如下：出现的问题：1. 如果学习率比较大的话，histogram就会变成高斯分布，结果如下：造成这个的原因还没找到，希望能了解的朋友指点一下。2.网络训练之后出现的结果一直都没有变过，根本就没有学习，训练结果如下所示：[0.023...

2019-09-18 08:03:10 4425

原创训练FCN-VGG16导入之前训练好的npy文件，出现No gradients for any variables

出现如下错误：Traceback (most recent call last): File "/data2/test/cxj/fcn_vgg16/test_fcn16_vgg.py", line 134, in <module> loss, optimizer, fcn_prob,fcn_pred,fcn_pred_up,lr = train_net(vgg_fcn=...

2019-09-18 07:56:04 682

原创 np.ndarray 类型转换为float类型

>>> a = numpy.array([1, 2, 3, 4], dtype=numpy.float64)>>> aarray([ 1., 2., 3., 4.])>>> a.astype(numpy.int64)array([1, 2, 3, 4])

2019-09-11 09:39:55 24248 2

原创使用GPU运算的时候出现TensorFlow CUDA_ERROR_OUT_OF_MEMORY

在linux下运行fcn出现failed to allocate错误，可以从如下几个方面提高GPU的利用率：1.reduce your batch size2 .use memory growing:config = tf.ConfigProto()config.gpu_options.allow_growth = Truesession = tf.Session(config...

2019-06-16 09:38:28 1644

原创运行FastMaskRCNN时出现ImportError: /data2/test/cxj/FastMaskRCNN/train/../libs/boxes/cython_nms.so:找不到问题

运行train.py文件时出现如下问题：ImportError: /data2/test/cxj/FastMaskRCNN/train/../libs/boxes/cython_nms.so: cannot open shared object file: No such file or directory首先采用的是使用cython将py文件编译成so文件的办法，一共有以下三个步骤：...

2019-06-14 16:10:06 704 2

原创使用命令行界面（command-line interface，缩写：CLI）调试tensorflow代码

参考文章：https://blog.youkuaiyun.com/jk981811667/article/details/78913973/使用tensorflow自带的debug很方便，run –f has_inf_or_nan 查看网络中产生的nan或者0值如上显示的是出现nan值的tensor，可以打印出该tensor的array值查看nan值出现的原因，使用使用ni conv4...

2019-06-14 16:08:58 1442

原创 fcn网络调参遇到的那些坑

自己创建的fcn网络，只有6层，训练的时候遇到太多的坑，记录如下：1.loss值爆炸，甚至为NAN值，结果如下所示策略：降低学习率2.学习率调整之后，出现结果如下：epoch=0,i=30076 of 78989, loss=798.504578epoch=0,i=30077 of 78989, loss=798.504578epoch=0,i=30078 of ...

2019-06-13 14:40:51 1012

原创 tensorflow下FCN网络训练出现acc值为0

继续训练fcn网络，loss值有变化，但是acc值为0，显示结果如下：说明该网络没有真正的在训练，需要另外调整参数。

2019-06-12 18:52:42 3271 7

原创使用tensorflow进行FCN网络训练时出现loss值是负值情况2

继续上一篇的问题，上一篇的训练结果都建立在数据先进行了normalized之后的结果，这一次尝试一下先不进行归一化数据，查看一下训练结果，结果显示如下：epoch=0,i=14006 of 78989, loss=798.504578epoch=0,i=14007 of 78989, loss=798.504578epoch=0,i=14008 of 78989, loss=798.504...

2019-06-12 17:32:49 3518 2

原创使用tensorflow进行FCN网络训练时出现loss值是负值情况1

简单的FCN网络出现结果如下：epoch=0,i=54747 of 78989, loss=-624.140625epoch=0,i=54748 of 78989, loss=-739.443359epoch=0,i=54749 of 78989, loss=-603.046875epoch=0,i=54750 of 78989, loss=-594.843750epoch=0,i=5...

2019-06-12 16:25:17 5527 1

原创 linux后台执行python程序，并指定输出文件

使用如下命令，结果输出到 2019_6_10_V1.txt文件中，nohup python -u vgg_gpu_train.py > 2019_6_10_V1.txt 2>&1 &

2019-06-10 11:02:09 1029

原创关于FCN自定义网络训练时出现loss值大于1的情况

使用FCN自定义6层网络，出现了如下的错误：epoch=1,i=809 of 552131, loss=0.313313epoch=1,i=810 of 552131, loss=1.110036epoch=1,i=811 of 552131, loss=0.313313epoch=1,i=812 of 552131, loss=0.313313epoch=1,i=813 of 552...

2019-06-10 09:27:22 10188

转载释放linux下显存占用

用tensorflow做实验，有时候会由于某种原因，在关闭程序后，GPU的显存仍处于被占用的状态，而用nvidia-smi查不到对应的进程pid.这时释放显存的方法：sudo fuser /dev/nvidia* 该命令会显示所有占用nvidia设备的进程pid，将这些pid逐个kill掉： kill -9 pid...

2019-04-12 08:49:31 3031

转载 Pytorch TypeError: batch must contain tensors, numbers, dicts or lists

pytorch 出现Pytorch TypeError: batch must contain tensors, numbers, dicts or lists错误，应该是dataloader的错误。可以加上如下几句：if self.is_transfrom:img_data=self.is_transfrom(img_data)return img_data,lab参考博客...

2019-04-12 08:48:15 2108

原创 np.ndarray与PIL.Image对象相互转换

Image对象有crop功能，也就是图像切割功能，但是使用opencv读取图像的时候，图像转换为了np.adarray类型，该类型无法使用crop功能，需要进行类型转换，所以使用下面的转换方式进行转换：numpy.array(img) img对象转化为np数组Image.fromarray(arr) np数组转化为...

2019-03-12 17:42:24 5850

原创深度学习中accuracy,precision,recall,F1 score等指标的区别与联系

True Positive（TP）：预测为正例，实际为正例False Positive（FP）：预测为正例，实际为负例True Negative（TN）：预测为负例，实际为负例False Negative（FN）：预测为正例，实际为负例accuracy和precision区别： accuracy指的是正确预测的样本数占总预测样本数的比值，它不考虑预测的样本是正例还是负例...

2019-03-07 20:21:16 9856 1

原创 tensorflow出现如下错误：AttributeError: ‘module’ object has no attribute ‘merge_all_summaries’

tensorflow版本问题，导致函数的变化，summary使用如下变化机制：AttributeError: ‘module’ object has no attribute ‘merge_all_summaries’merged_summary_op = tf.merge_all_summaries() ====》修改为merged_summary_op = tf.summary.m...

2019-03-06 21:07:03 3194 1

原创 tensorflow出现Incompatible shapes between op input and calculated input gradient.错误

Incompatible shapes between op input and calculated input gradient. Forward operation: softmax_cross_entropy_with_logits_sg_12. Input index: 0. Original input shape: (16, 1). Calculated input gradient...

2019-03-06 20:23:37 6412 3

转载 tensorflow+Python ValueError以及解决方法

转自https://blog.youkuaiyun.com/zseqsc_asd/article/details/84887880ValueError: Incompatible type conversion requested to type ‘float32’ for variable of type ‘int32_ref’使用tensorflow时，出现在卷积层，原因在于初始化卷积权重...

2019-03-06 20:03:55 2307

转载 Tensorflow报错：AttributeError: 'module' object has no attribute 'scalar_summary'

转自https://blog.youkuaiyun.com/hang__xiu2016acm/article/details/78061699报错：tf.scalar_summary(l.op.name + ' (raw)', l)AttributeError: 'module' object has no attribute 'scalar_summary'解决：tf.scalar_...

2019-03-06 16:23:11 579

转载 Python 转换Image类型为list类型

转自https://blog.youkuaiyun.com/weixin_38383877/article/details/82261308import base64image='1.jpg'#将图片encode为二进制字符串方法一with open(image,'rb') as f: str=base64.b64encode(f.read())print(type(str))...

2019-03-05 10:18:21 3225

原创 TypeError: Value passed to parameter 'input' has DataType uint8 not in list of allowed values: float

处理.tiff影像的时候，使用tensorflow的时候出现如下错误：TypeError: Value passed to parameter 'input' has DataType uint8 not in list of allowed values: float16, bfloat16, float32, float64解决办法是：image = tf.image.decod...

2019-02-27 16:51:48 6335

原创 python array 出现IndexError: too many indices for array

python错误为IndexError: too many indices for array 可以解决的方法有如下方案：You are getting this error because you are making target array ‘y’ 2-D which is actually needed to be 1-D to pass in cross validation f...

2019-02-27 16:20:34 45181

原创 python中图片的float类型和uint8类型

在python图像处理过程中，遇到的RGB图像的值是处于0-255之间的，为了更好的处理图像，通常会将图像值转变到0-1之间这个处理的过程就是图像的float类型转变为uint8类型过程。float类型取值范围：-1 到1 或者 0到1uint8类型取值范围：0到255 下图是常见的类型取值范围...

2019-02-25 20:41:52 30183 8

原创 python 中round()方法

round（）取四舍五入的值

2019-02-25 20:37:36 3351

转载 python函数读取图片的区别

转自https://blog.youkuaiyun.com/qinglv1/article/details/80253581举例cv2.imread()和matplotlib.image.imread()两种读取图片的方式读取出来的rgb的顺序不一样，对于读取图片的类型要求也不一样，example: 将.jpg改为.png，后者读取就有问题，而前者可以顺利读出cv2.imread()不...

2019-02-20 16:36:03 725

原创从RCNN到MaskRCNN的历史变化

从RCNN提出到如今的MaskRCNN，整体的流程变化如图所示。

2019-01-17 10:28:51 1089

原创深度学习各个模型和网络的发展时间和选择标准

截止到2017年为止，关于图像处理的网络发展流程如下时间节点所示，其中包括深度学习和图像特征下图是关于流行的深度学习网络的准确率与速度之间的权衡，根据如下图来选择适合自己的深度学习模型...

2019-01-12 17:19:19 1505

转载关于深度学习网络选择

转载 https://blog.youkuaiyun.com/JNingWei/article/details/80651660算法优点缺点改进方案 RetinaNet 很简单、精度较高、速度快 fp较多增加后处理 FPN + Faster R-CNN 较简单、精度很高、fp少速度有待提高简化basemodel 无人驾驶这种对...

2019-01-12 17:10:11 578

原创 python中实现文件复制操作

实现文件复制操作的时候需要使用到一个包import shutil直接使用下列的命令：shutil.copyfile(srcfile,dstfile)需要注意的是copyfile中的两个参数都是文件的地址，而不是文件夹...

2019-01-12 11:35:51 1872 1

原创 python将百分数转换为float数的操作

from pandas import DataFrame;这是关于表格数据的：df = DataFrame({'str': ['10.33%','99.0009%']});p_float = df['p_str'].str.strip("%").astype(float)/100;#保留小数点后面2位p_float_2 = p_float.round(decimals=2)#再转换...

2019-01-11 20:33:56 11609 2

原创 python的plt画图出现错误_tkinter.TclError: no display name and no $DISPLAY environment variable

python的plt画图出现错误_tkinter.TclError: no display name and no $DISPLAY environment variable，解决方案是在.py文件最前面加上两句：import matplotlibmatplotlib.use('Agg') 这样就能解决问题了...

2019-01-10 19:26:09 3581

原创 python3 中小数字以百分比形式表示

方式1：直接使用参数格式化：{:.2%}{:.2%}：显示小数点后2位 {:.2%}'.format(42/50)) 84.00%不显示小数位：{:.0%}，即，将2改为0： {:.0%}'.format(42/50) 84% 方式2：格式化为float，然后处理成%格式： {:.2f}%（1）需要对42/50乘以 100 。（2）方式...

2019-01-10 11:34:37 6699

原创 python3 除法去掉小数，保留整数的做法

在python2 中使用 / 做除法的时候，没有小数点，所以如果要保留小数点的话，需要导入一个包from __future__ import division在python3中，一个算数表达式中遇到除法时，有两种不同的除法方式可以选择，分别是/ 和 // 1、 / 操作符（真除法）在python3中，/操作符在表达式中时运行的永远是真除法，无论接受...

2019-01-10 11:04:22 33434 1