weixin_38324954-优快云博客

原创 softmax与categorical_crossentropy的关系，以及sigmoid与bianry_crossentropy的关系

sigmoid和softmax是神经网络输出层使用的激活函数，分别用于两类判别和多类判别。一般，binary_crossentropy损失函数和sigmoid激活函数相匹配，适应两类别分类的问题，categorical_crossentropy损失函数和softmax激活函数相匹配，适应多类别分类的问题。参考博客：https://blog.youkuaiyun.com/weixin_42295205/article/details/107487243...

2021-05-10 13:13:27 1523

原创常见的上采样方法（双线性插值，反卷积，反池化）

1.双线性插值上采样

2021-04-29 09:14:25 3181

原创模型训练技巧：warmup学习率策略

什么是warmup学习率的设置 — 不同阶段不同值：上升 -> 平稳 -> 下降由于神经网络在刚开始训练的时候是非常不稳定的，因此刚开始的学习率应当设置得很低很低，这样可以保证网络能够具有良好的收敛性。但是较低的学习率会使得训练过程变得非常缓慢，因此这里会采用以较低学习率逐渐增大至较高学习率的方式实现网络训练的“热身”阶段，称为 warmup stage。但是如果我们使得网络训练的 loss 最小，那么一直使用较高学习率是不合适的，因为它会使得权重的梯度一直来回震荡，很难使训练的损失值达到

2021-04-29 09:13:05 4046 1

原创语义分割之Dice Loss

1.Dice系数Dice系数作为损失函数的原因和混淆矩阵有着很大的关系，下图给出的是一个混淆矩阵：其中的一些关键指标如下：precision=TPTP+FPprecision=\frac{TP}{TP+FP}precision=TP+FPTPrecall=TPTP+FNrecall=\frac{TP}{TP+FN}recall=TP+FNTP精确率(precision)表示的是预测为正且真实为正的占预测为正的比例召回率(recall)表示的是预测为正且真实为正的占样本为正的比例在医学图象分

2021-04-29 09:12:17 3530 1

原创 tf.nn.sparse_softmax_cross_entropy_with_logits与tf.nn.softmax_cross_entropy_with_logits

tf.nn.sparse_softmax_cross_entropy_with_logits与 tf.nn.softmax_cross_entropy_with_logits的区别（1）tf.nn.sparse_softmax_cross_entropy_with_logitstf.nn.sparse_softmax_cross_entropy_with_logits( _sentinel=None, labels=None, logits=None, name=None

2021-04-15 21:19:39 299

原创 ImportError: cannot import name ‘issparse‘

环境：windowstensorflow-gpu 1.12.0keras 2.2.4问题：利用tensorflow,keras训练模型时出现如下报错：ImportError: cannot import name 'issparse'问题解决：有资料表示是由于没有安装scipy模块导致的，但是我检查发现自己已经安装了scipy，还是会报错。试图将scipy升级到最新版本1.5.4,之后再运行不报错。...

2021-04-15 21:19:23 5219

原创 AttributeError: module ‘keras_applications‘ has no attribute ‘set_keras_submodules‘

环境：windowstensorflow-gpu 1.12.0keras 2.2.4问题：利用tensorflow,keras进行模型训练时出现如下报错：AttributeError: module 'keras_applications' has no attribute 'set_keras_submodules'问题解决：现有keras_applications版本为1.0.8，使用如下命令将其版本降低为1.0.7，问题解决。pip install --upgrade keras_

2021-04-15 21:19:02 1067 1

原创 tensorboard报错ImportError: cannot import name ‘dump_age‘

环境：windowstensorflow-gpu 1.12.0keras 2.2.4问题：在cmd命令窗口打开tensorboard时出现如下报错：ImportError: cannot import name 'dump_age'问题解决：首先将现有的werkzeug,tensorflow,keras卸载：pip uninstall werkzeug 将werkzeug卸载pip uninstall tensorflow-gpu 将tensorflow卸载pip uni

2021-04-15 21:18:38 299

原创 TypeError: Expected a message Descriptor, got Descriptor

利用tensorflow(1.12.0),keras(2.2.4)进行模型训练时，出现如下报错：TypeError: Expected a message Descriptor, got Descriptor问题解决：有资料表示是由于tensorflow与protobuf版本不匹配，tensorflow与protobuf的版本对应关系如下：tensorflow 1.5 --------------- protobuf 3.4tensorflow 1.12 --------------- prot

2021-04-15 21:18:19 9172 2

原创 AttributeError: ‘numpy.ndarray‘ object has no attribute ‘cuda‘

问题描述：利用pytorch进行模型训练时，在加载数据后出现如下报错inputs, gts = inputs.cuda(), gts.cuda()AttributeError: ‘numpy.ndarray‘ object has no attribute ‘cuda‘问题解决：这种类型的错误都是由于没有转换为tensor张量导致的，只需要注意使用cuda()前通过torch.tensor()转为tensor就可以了，例如这样：inputs, gts = torch.tensor(inpu

2021-04-01 16:02:48 4889

原创国内镜像安装库

常用的几个镜像网站清华大学镜像：pip install -i https://pypi.tuna.tsinghua.edu.cn/simple/ 模块名阿里云镜像：pip install -i https://mirrors.aliyun.com/pypi/simple/ 模块名豆瓣镜像：pip install -i https://pypi.doubanio.com/simple/ 模块名中科大镜像：pip install -i https://mirrors.tuna.tsingh

2021-02-03 17:44:03 550

原创 OMP: Error #15: Initializing libiomp5md.dll, but found libiomp5md.dll already initialized.

环境：windows系统运行pytorch模型时出现如下报错：OMP: Error #15: Initializing libiomp5md.dll, but found libiomp5md.dll already initialized.OMP: Hint This means that multiple copies of the OpenMP runtime have been linked into the program. That is dangerous, since it can d

2021-01-19 17:39:17 140

原创 BrokenPipeError: [Errno 32] Broken pipe

环境：windows系统运行pytorch模型时出现以下报错BrokenPipeError: [Errno 32] Broken pipe查阅资料发现该问题的产生是由于windows下多线程的问题，和DataLoader类有关。解决方法修改调用torch.utils.data.DataLoader()函数时的 num_workers 参数，该参数是指在进行数据集加载时，启用的线程数目。修改num_works为 0 ，只启用一个主进程加载数据集，避免在windows使用多线程即可。参考博客：h

2021-01-19 17:30:27 197 1

原创 resnet50/InceptionV3/Xception/mobileNet/InceptionResNetV2/NASnet/DenseNet等tensorflow预训练权重下载

vgg16/vgg19/resnet50/InceptionV3/Xception/mobileNet/InceptionResNetV2/NASnet/DenseNet等模型权重文件下载地址：https://github.com/fchollet/deep-learning-models/releases参考博客：https://blog.youkuaiyun.com/qq_37752708/article/details/110728526

2021-01-12 15:13:02 1241

原创模型可视化工具——Netron(支持tf, caffe, keras,mxnet等多种框架)

加载模型预训练权重时一般需要查看各节点信息，因此需要对权重文件进行可视化展示。目前的Netron支持主流各种框架的模型结构可视化工作框架对应文件ONNX.onnx, .pbKeras.h5, .kerasCoreML.mlmodelTensorFlow Lite.tflite安装Netron支持windows，Linux，mac系统下载链接如下：https://github.com/lutzroeder/netron/releases/tag/v4

2021-01-12 15:07:24 505

原创 win10+cuda9.0+python3.6.12 安装pytorch

1.查看自己的cuda版本使用win+r，在输入cmd，在小黑窗口中输入nvcc -V确定需要安装的torch以及torchvision版本https://pytorch.org/get-started/previous-versions/2.创建一个新的Python虚拟运行环境在cmd命令窗口输入conda create -n pytorch-gpu python==3.6.12 然后回车。激活刚刚创建的虚拟运行坏境 conda activate pytorch-gpu在新建的虚拟环境中安装

2021-01-06 13:22:35 519

原创 .ckpt权重文件转.hdf5文件

import tensorflow as tfimport deepdish as ddimport argparseimport osimport numpy as npdef tr(v): # tensorflow weights to pytorch weights if v.ndim == 4: return np.ascontiguousarray(v.transpose(3,2,0,1)) elif v.ndim == 2: r

2021-01-05 11:24:50 755

原创 AttributeError: ‘dict‘ object has no attribute ‘iteritems‘

问题描述在将.ckpt模型文件转成.hdf5文件时，出现如下报错： weights = {n: reader.get_tensor(n) for (n, _) in reader.get_variable_to_shape_map().iteritems()}AttributeError: 'dict' object has no attribute 'iteritems'解决办法查阅资料发现是由于Python3.5中：iteritems变成了items。修改以后问题解决。参考博客：ht

2021-01-05 11:21:35 245

原创 BiSenetv2结构详细介绍

1. 整体结构 (1)一个细节分支(Detail Branch)，具有宽通道和浅层，以捕获low-level细节并生成高分辨率特征表示；(2)语义分支(Semantic Branch)，具有狭窄的通道和较深的层，以获取高级语义上下文。由于减少了信道容量和快速下采样策略，语义分支是轻量级的。(3)设计了一个引导聚合层(Bilateral Guided Aggregation Layer)，以增强相互连接并融合两种类型的要素表示。(4)还设计了一种增强训练策略来提高分割性能，而无需任何额外的推理成

2021-01-05 09:36:48 6454

原创 keras模型训练报错AttributeError: ‘NoneType‘ object has no attribute ‘_inbound_nodes‘

问题描述最近正在复现BiSenetv2网络。由于目前BiSenetv2的代码基本都是pytorch,所以自己根据论文模型结构完成了模型的keras版本，但是在进行训练时一直出现如下报错百度了很多发现应该是由于我在使用keras搭建模型时，需要使用TensorFlow夹杂搭建，但是keras无论使用函数式还是序列式，每一层的输出类型都是layer类型，所以当使用非keras函数时，得到的变量类型不是layer类型，因此出现以上报错。解决方案（1）由于代码中使用了concatenate以及reshap

2021-01-04 17:49:40 1038 1

原创报错AttributeError: ‘InputLayer‘ object has no attribute ‘outbound_nodes‘

环境：tensorflow 1.13.1+keras 2.2.4在运行代码时出现报错如下：File "F:\python tensorflow\Anaconda\Anaconda\envs\tensorflow\lib\site-packages\tensorflow\python\keras\engine\base_layer.py", line 584, in __call__ inputs, outputs, args, kwargs) File "F:\python tensorfl

2020-12-18 19:59:27 3492 1

原创 U2Net网络结构

U2Net网络结构U2Net网络的优势在于：(1)提出 RSU 模块，融合不同尺寸接受野的特征，以捕获更多不同尺度的上下文信息(contextual information).（2）基于 RSU 模块的池化(pooling) 操作，在不显著增加计算成本的前提下，增加了整个网络结构的深度(depth)。具体网络结构图如下：U2-Net网络由三部分构成：• 六级编码器• 五级解码器• 与解码器和最后一级编码器相连的显著图融合模型（Ⅰ）编码器En_1, En_2，En_3和En_4阶段中，分别使用R

2020-12-15 16:34:28 2491

原创 python报错 AttributeError: ‘bytes’ object has no attribute ‘encode’

训练模型时出现以下报错：AttributeError: ‘bytes’ object has no attribute ‘encode’解决方法：点击报错进入对应的报错文档，把encode改成decode就可以了。这是因为在python3中，编码的时候区分了字符串和二进制参考：https://www.jianshu.com/p/a4cf632d97f1...

2020-12-15 13:38:13 15117

原创 tensorflow和keras对应的版本

在应用tensorflow和keras进行模型训练和测试时，经常出现因为tensorflow版本和keras版本不匹配导致的错误，可以通过下方网址查询tensorflow和keras对应的版本https://docs.floydhub.com/guides/environments/只需卸载tensorflow或keras，然后重新安装对应版本，一些基本常见问题可以解决。...

2020-12-15 13:21:29 1178

原创 keras加载hdf5模型时报错KeyError: b‘tensorflow‘

利用keras加载保存的hdf5模型时报错如下KeyError: b'tensorflow'前一天运行代码还是好的，今天运行就报错了。查找了很久没有发现原因。想起来前一天修改了keras版本（keras 2.1.4会报上述错误），就把keras重新修改回原版本（keras 2.2.4），问题解决！！！...

2020-12-11 09:29:24 1668

原创基于匈牙利算法的任务分配问题原理

匈牙利算法基本思路（1）通过行/列变换让费用矩阵的每行和每列都出现0（2）找出不同行不同列的n个0（3）这些0对应的指派就是最优指派匈牙利算法主要步骤（1）对费用矩阵先做行变换再做列变换。从每一行减去该行的最小值，从每一列减去该列的最小值（2）用最少的水平线或垂直线覆盖所有零（3）如果水平线和垂直线的总数小于样本数N，则找到没有被覆盖的最小值，没有被覆盖的每行减去最小值，被覆盖的每列加上最小值。然后重复步骤（2）、（3）知道水平线和垂直线的总数等于样本数（4）根据零元素所在位置确定最优指派

2020-11-14 10:50:54 758

原创报错：AssertionError: Torch not compiled with CUDA enabled

环境：win0+torch(cpu)详细报错信息：解决：查阅资料发现此错误是由于下载的torch没有cuda,所以在运行时会报错，在程序最开始的地方加上：device = torch.device(“cuda” if torch.cuda.is_available() else “cpu”)代码其余地方出现.cuda()的地方改成.to(device)就可以在无gpu的环境中运行了。参考博客：https://blog.youkuaiyun.com/m0_37690102/article/details/

2020-11-11 20:27:57 23270 17

原创 The “freeze_support()“ line can be omitted if the program is not going to be frozen to produce an ex

环境：win10+torch(cpu)具体错误信息：The “freeze_support()” line can be omitted if the program is not going to be frozen to produce an executable.有的解决方案是把要运行的代码放在if __main_==’__main_'下面即可解决问题，参考https://www.cnblogs.com/zzmx0/p/12663478.html但是我的问题并没有解决。通过再次查找发现是由于

2020-11-11 20:22:31 285

机器学习中的基本线性代数知识.pdf

空空如也