
深度学习
文章平均质量分 54
weixin_38324954
这个作者很懒,什么都没留下…
展开
-
softmax与categorical_crossentropy的关系,以及sigmoid与bianry_crossentropy的关系
sigmoid和softmax是神经网络输出层使用的激活函数,分别用于两类判别和多类判别。一般,binary_crossentropy损失函数和sigmoid激活函数相匹配,适应两类别分类的问题,categorical_crossentropy损失函数和softmax激活函数相匹配,适应多类别分类的问题。参考博客:https://blog.youkuaiyun.com/weixin_42295205/article/details/107487243...原创 2021-05-10 13:13:27 · 1541 阅读 · 0 评论 -
常见的上采样方法(双线性插值,反卷积,反池化)
1.双线性插值上采样原创 2021-04-29 09:14:25 · 3213 阅读 · 0 评论 -
模型训练技巧:warmup学习率策略
什么是warmup学习率的设置 — 不同阶段不同值:上升 -> 平稳 -> 下降由于神经网络在刚开始训练的时候是非常不稳定的,因此刚开始的学习率应当设置得很低很低,这样可以保证网络能够具有良好的收敛性。但是较低的学习率会使得训练过程变得非常缓慢,因此这里会采用以较低学习率逐渐增大至较高学习率的方式实现网络训练的“热身”阶段,称为 warmup stage。但是如果我们使得网络训练的 loss 最小,那么一直使用较高学习率是不合适的,因为它会使得权重的梯度一直来回震荡,很难使训练的损失值达到原创 2021-04-29 09:13:05 · 4104 阅读 · 0 评论 -
语义分割之Dice Loss
1.Dice系数Dice系数作为损失函数的原因和混淆矩阵有着很大的关系,下图给出的是一个混淆矩阵:其中的一些关键指标如下:precision=TPTP+FPprecision=\frac{TP}{TP+FP}precision=TP+FPTPrecall=TPTP+FNrecall=\frac{TP}{TP+FN}recall=TP+FNTP精确率(precision)表示的是预测为正且真实为正的占预测为正的比例召回率(recall)表示的是预测为正且真实为正的占样本为正的比例在医学图象分原创 2021-04-29 09:12:17 · 3657 阅读 · 1 评论 -
tf.nn.sparse_softmax_cross_entropy_with_logits与tf.nn.softmax_cross_entropy_with_logits
tf.nn.sparse_softmax_cross_entropy_with_logits与 tf.nn.softmax_cross_entropy_with_logits的区别(1)tf.nn.sparse_softmax_cross_entropy_with_logitstf.nn.sparse_softmax_cross_entropy_with_logits( _sentinel=None, labels=None, logits=None, name=None原创 2021-04-15 21:19:39 · 308 阅读 · 0 评论 -
ImportError: cannot import name ‘issparse‘
环境:windowstensorflow-gpu 1.12.0keras 2.2.4问题:利用tensorflow,keras训练模型时出现如下报错:ImportError: cannot import name 'issparse'问题解决:有资料表示是由于没有安装scipy模块导致的,但是我检查发现自己已经安装了scipy,还是会报错。试图将scipy升级到最新版本1.5.4,之后再运行不报错。...原创 2021-04-15 21:19:23 · 5249 阅读 · 0 评论 -
AttributeError: module ‘keras_applications‘ has no attribute ‘set_keras_submodules‘
环境:windowstensorflow-gpu 1.12.0keras 2.2.4问题:利用tensorflow,keras进行模型训练时出现如下报错:AttributeError: module 'keras_applications' has no attribute 'set_keras_submodules'问题解决:现有keras_applications版本为1.0.8,使用如下命令将其版本降低为1.0.7,问题解决。pip install --upgrade keras_原创 2021-04-15 21:19:02 · 1077 阅读 · 1 评论 -
tensorboard报错ImportError: cannot import name ‘dump_age‘
环境:windowstensorflow-gpu 1.12.0keras 2.2.4问题:在cmd命令窗口打开tensorboard时出现如下报错:ImportError: cannot import name 'dump_age'问题解决:首先将现有的werkzeug,tensorflow,keras卸载:pip uninstall werkzeug 将werkzeug卸载pip uninstall tensorflow-gpu 将tensorflow卸载pip uni原创 2021-04-15 21:18:38 · 310 阅读 · 0 评论 -
TypeError: Expected a message Descriptor, got Descriptor
利用tensorflow(1.12.0),keras(2.2.4)进行模型训练时,出现如下报错:TypeError: Expected a message Descriptor, got Descriptor问题解决:有资料表示是由于tensorflow与protobuf版本不匹配,tensorflow与protobuf的版本对应关系如下:tensorflow 1.5 --------------- protobuf 3.4tensorflow 1.12 --------------- prot原创 2021-04-15 21:18:19 · 9190 阅读 · 2 评论 -
国内镜像安装库
常用的几个镜像网站清华大学镜像:pip install -i https://pypi.tuna.tsinghua.edu.cn/simple/ 模块名阿里云镜像:pip install -i https://mirrors.aliyun.com/pypi/simple/ 模块名豆瓣镜像:pip install -i https://pypi.doubanio.com/simple/ 模块名中科大镜像:pip install -i https://mirrors.tuna.tsingh原创 2021-02-03 17:44:03 · 573 阅读 · 0 评论 -
OMP: Error #15: Initializing libiomp5md.dll, but found libiomp5md.dll already initialized.
环境:windows系统运行pytorch模型时出现如下报错:OMP: Error #15: Initializing libiomp5md.dll, but found libiomp5md.dll already initialized.OMP: Hint This means that multiple copies of the OpenMP runtime have been linked into the program. That is dangerous, since it can d原创 2021-01-19 17:39:17 · 146 阅读 · 0 评论 -
BrokenPipeError: [Errno 32] Broken pipe
环境:windows系统运行pytorch模型时出现以下报错BrokenPipeError: [Errno 32] Broken pipe查阅资料发现该问题的产生是由于windows下多线程的问题,和DataLoader类有关。解决方法修改调用torch.utils.data.DataLoader()函数时的 num_workers 参数,该参数是指在进行数据集加载时,启用的线程数目。修改num_works为 0 ,只启用一个主进程加载数据集,避免在windows使用多线程即可。参考博客:h原创 2021-01-19 17:30:27 · 202 阅读 · 1 评论 -
resnet50/InceptionV3/Xception/mobileNet/InceptionResNetV2/NASnet/DenseNet等tensorflow预训练权重下载
vgg16/vgg19/resnet50/InceptionV3/Xception/mobileNet/InceptionResNetV2/NASnet/DenseNet等模型权重文件下载地址:https://github.com/fchollet/deep-learning-models/releases参考博客:https://blog.youkuaiyun.com/qq_37752708/article/details/110728526原创 2021-01-12 15:13:02 · 1267 阅读 · 0 评论 -
模型可视化工具——Netron(支持tf, caffe, keras,mxnet等多种框架)
加载模型预训练权重时一般需要查看各节点信息,因此需要对权重文件进行可视化展示。目前的Netron支持主流各种框架的模型结构可视化工作框架对应文件ONNX.onnx, .pbKeras.h5, .kerasCoreML.mlmodelTensorFlow Lite.tflite安装Netron支持windows,Linux,mac系统下载链接如下:https://github.com/lutzroeder/netron/releases/tag/v4原创 2021-01-12 15:07:24 · 521 阅读 · 0 评论 -
win10+cuda9.0+python3.6.12 安装pytorch
1.查看自己的cuda版本使用win+r,在输入cmd,在小黑窗口中输入nvcc -V确定需要安装的torch以及torchvision版本https://pytorch.org/get-started/previous-versions/2.创建一个新的Python虚拟运行环境在cmd命令窗口输入conda create -n pytorch-gpu python==3.6.12 然后回车。激活刚刚创建的虚拟运行坏境 conda activate pytorch-gpu在新建的虚拟环境中安装原创 2021-01-06 13:22:35 · 529 阅读 · 0 评论 -
.ckpt权重文件转.hdf5文件
import tensorflow as tfimport deepdish as ddimport argparseimport osimport numpy as npdef tr(v): # tensorflow weights to pytorch weights if v.ndim == 4: return np.ascontiguousarray(v.transpose(3,2,0,1)) elif v.ndim == 2: r原创 2021-01-05 11:24:50 · 767 阅读 · 0 评论 -
AttributeError: ‘dict‘ object has no attribute ‘iteritems‘
问题描述在将.ckpt模型文件转成.hdf5文件时,出现如下报错: weights = {n: reader.get_tensor(n) for (n, _) in reader.get_variable_to_shape_map().iteritems()}AttributeError: 'dict' object has no attribute 'iteritems'解决办法查阅资料发现是由于Python3.5中:iteritems变成了items。修改以后问题解决。参考博客:ht原创 2021-01-05 11:21:35 · 251 阅读 · 0 评论