
Python
文章平均质量分 51
Joker 007
这个作者很懒,什么都没留下…
展开
-
深度学习模型更新公式全解析:从原理到训练调优
深度学习模型更新公式全解析:从原理到训练调优原创 2025-04-17 14:51:07 · 737 阅读 · 0 评论 -
深度学习训练过程中出现loss为nan的排查思路
最常见的就是出现了除0或者log0这种,看看代码中在这种操作的时候有没有加一个很小的数,但是这个数数量级要和运算的数的数量级要差很多。在optim.step()之前裁剪梯度。原创 2024-09-01 16:43:20 · 585 阅读 · 0 评论 -
利用集成方式来提高任意给定的神经网络性能
https://cloud.tencent.com/developer/article/1160636转载 2023-05-24 20:56:02 · 735 阅读 · 0 评论 -
Pytorch的hook技术——获取预训练/已训练好模型的特定中间层输出
Pytorch的hook技术——获取预训练/已训练好模型的特定中间层输出原创 2023-02-08 23:13:29 · 2468 阅读 · 0 评论 -
深度学习验证指标计算Torchmetrics包
深度学习验证指标计算Torchmetrics包原创 2022-09-30 20:49:29 · 776 阅读 · 0 评论 -
检测任务评估指标AP和AR
检测任务评估指标原创 2022-09-22 14:17:39 · 3648 阅读 · 0 评论 -
深度学习模型大小与模型推理速度的深度探讨
深度学习模型大小与模型推理速度的深度探讨转载 2022-09-19 22:49:07 · 1371 阅读 · 0 评论 -
ROC/AUC曲线学习及Python实现
参考博客:【机器学习笔记】:一文让你彻底理解准确率,精准率,召回率,真正率,假正率,ROC/AUC一、准确率,精准率,召回率1.TP、TN、FP、FN概念P(Positive):代表1N(Negative):代表0T(True):代表预测正确F(False):代表错误以上四种情况可理解为:先看 ①预测结果(P/N),再根据②实际表现对比预测结果,给出判断结果(T/F)。如:TP: 预测为1,预测正确,即实际1FP: 预测为1,预测错误,即实际0FN: 预测为0,预测错误,即实际1原创 2021-10-06 17:56:35 · 21690 阅读 · 5 评论 -
Python中SimpleITK库的常用函数
在医学图像上经常使用的一个Python库SimpleITK,下面介绍其常用的函数:原创 2022-06-07 14:05:50 · 5217 阅读 · 2 评论 -
使用opencv实现16位图转8位图
最近在处理一批.tif格式的数据,但是由于设备导出的数据是16位图,因此一般图片查看器打开都是一片黑。采用opencv实现16位tif图转换成8位图原创 2022-06-02 21:25:41 · 4548 阅读 · 5 评论 -
【Python】实现图片切成patch,以及有间隙的拼接代码
图片的切分import os.pathfrom PIL import Imageimport sysimport torchvision.transforms as transforms# 图片的切块def cut_image(image, patch_num): width, height = image.size item_width = int(width / patch_num) box_list = [] # (left, upper, right,原创 2022-02-20 15:08:23 · 3975 阅读 · 11 评论 -
Python将模型参数文件(.pth/.pkl等)转换为ONNX格式
import torchimport pickleimport numpy as npmodel_path = r'./sVGG16.pkl' # 模型参数路径 dummy_input = torch.randn(1, 3, 256, 256) # 先随机一个模型输入的数据model = sVGG16() # 定义模型结构,此处是我自己设计的模型checkpoing = torch.lo原创 2022-02-19 16:56:38 · 4374 阅读 · 2 评论 -
【分类模型评价】宏平均(macro avg)、微平均(micro avg)和加权平均(weighted avg)
当我们使用 sklearn.metric.classification_report 工具对模型的测试结果进行评价时,会输出如下结果:对于 精准率(precision )、召回率(recall)、f1-score,他们的计算方法很多地方都有介绍,这里主要讲一下micro avg、macro avg 和weighted avg 他们的计算方式。1、宏平均 macro avg:对每个类别的 精准、召回和F1 加和求平均。精准macro avg=(P_no+P_yes) / 2=(0.24+0.73)原创 2022-02-14 11:28:04 · 19381 阅读 · 2 评论 -
Transformer的位置编码学习日志
参考链接Positional Encodings in ViTs 近期各视觉Transformer中的位置编码方法总结及代码解析 1个人觉得比较好的博客和视频:1.【一位大佬的博客,里面关于数学推导的内容较多】Sinusoidal 位置编码追根溯源对应的视频:Transformer 位置编码追根溯源;2.另外一个讲解视频Transformer的位置编码(Position Encoding)进展梳理视频对应的手稿:...原创 2021-12-31 17:15:56 · 1086 阅读 · 0 评论 -
Pytorch损失函数cross_entropy、binary_cross_entropy和binary_cross_entropy_with_logits的区别
在做分类问题时我们经常会遇到这几个交叉熵函数:cross_entropy、binary_cross_entropy和binary_cross_entropy_with_logits。那么他们有什么区别呢?下面我们就来探讨一下:1.torch.nn.functional.cross_entropydef cross_entropy(input, target, weight=None, size_average=None, ignore_index=-100, re原创 2021-12-31 16:34:03 · 5744 阅读 · 1 评论 -
Pytorch的可视化学习日志2——Pytorch自带的Tensorboard
PyTorch 从 1.2.0 版本开始,正式自带内置的 Tensorboard 支持了,我们可以不再依赖第三方工具来进行可视化。本文将介绍 PyTorch 1.2.0 中自带 Tensorboard 的基本使用方法。安装PyTorch 的版本需要 1.2.0 :pip install --upgrade torch torchvision然后安装 Tensorboard 1.14 :pip install tensorboard安装完成后,引入响应包:Python 3.7.4 (def原创 2021-12-08 13:13:42 · 348 阅读 · 0 评论 -
数字图像处理——颜色空间汇总
参考博客:颜色空间总结数字图像处理之6大颜色空间转载 2021-11-23 23:29:07 · 470 阅读 · 0 评论 -
何为监督学习、无监督学习、强化学习、弱监督学习、半监督学习、多示例学习?
随着机器学习问题不断深入人心,人们也将现实中遇到不同的问题分为不同的学习方式,其中,最基础的应属监督学习,无监督学习和强化学习了。监督学习(supervised learning):已知数据和其一一对应的标签,训练一个智能算法,将输入数据映射到标签的过程。监督学习是最常见的学习问题之一,就是人们口中常说的分类问题。比如已知一些图片是猪,一些图片不是猪,那么训练一个算法,当一个新的图片输入算法的时候算法告诉我们这张图片是不是猪。无监督学习(unsupervised learning):已知数据不知道任何标原创 2021-11-23 21:43:48 · 2203 阅读 · 0 评论 -
OpenCV灰度化之后图片为绿色原因及解决办法
opencv读入JPG图片的颜色顺序是BGR(blue, green, red)skimage读入JPG图片颜色顺序是RGBmatplotlib在plt的时候是默认RGB显示的,所以img = cv2.imread(path)img = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)print(img)plot.imshow(img) plot.show()此时显示的图片依旧是绿色的代码改成:img = cv2.imread(path) # 读取图片i原创 2021-11-15 23:13:34 · 6117 阅读 · 0 评论 -
PIL中的Image转化为数组array的方法
Pillow的使用-Image篇Image官方文档介绍链接PIL的Image.open()读入图片后并不是numpy数组array格式,而是Image格式。这对于后面图像处理以及神经网络读入图片数据会带来麻烦,例如用卷积神经网络读入数据一般以数组格式输入,有时需要将代表图片的矩阵形状进行转换,此时PIL的Image.open()读入的格式是不能用reshape方法的。处理方式其实很简单,用np.array()函数直接进行转换就可以。示例代码:将变成array的图片矩阵变回Image对象,使用Ima原创 2021-11-15 22:55:25 · 7014 阅读 · 0 评论 -
Python的excel工作簿写入与读取操作
写入方式(一)——xlwtxlwt(excel write)是一个用于将数据写入excel中的库,这个库只能用于写较老的excel文件(.xls格式),无法写.xlsx格式文件,并且无法修改一个已有的excel文件。该方法写入时,只能循环一个一个数据写入,比如数组无法一次性写入行import xlwtimport numpy as npa = [[1,2,3],[4,5,6],[7,8,9]]ar = np.array(a)book = xlwt.Workbook() # 创建Excel原创 2021-09-26 18:24:42 · 2631 阅读 · 0 评论 -
解决OMP: Error #15: Initializing libiomp5md.dll, but found libiomp5md.dll already initialized.
报错代码如下:OMP: Error #15: Initializing libiomp5md.dll, but found libiomp5md.dll already initialized.OMP: Hint This means that multiple copies of the OpenMP runtime havebeen linked into the program. That is dangerous, since it can degradeperformance or原创 2021-09-14 13:07:58 · 1893 阅读 · 1 评论 -
Pytorch模型的保存及加载
深度学习模型保存模型参数的方法有两种:1.保存整个网络(模型结构+模型参数):# 保存整个模型和参数torch.save(model_object, 'convit_tiny.pth') # 对应的加载模型代码为model = torch.load('convit_tiny.pth')print(model)此时print的是整个网络的模型结构;若要加载模型的参数:model = torch.load('convit_tiny.pth')args = model.stat原创 2021-09-13 15:49:25 · 1704 阅读 · 0 评论 -
pytorch建立自己的数据集Dataset
参考博客:pytorch建立自己的数据集Dataset转载 2021-09-11 12:03:04 · 235 阅读 · 0 评论 -
Python打开.pkl文件
.pkl文件是python保存文件的一种文件格式,如果直接打开会显示一堆序列化的东西。需要使用rb类型来打开rb – 读取2进制文件,r – 读取文本文件# cPickle是python2系列用的,3系列已经不用了,直接用pickle就好了import pickledata = pickle.load( open('a.pkl','rb')) #记得加上'rb'print(data)...原创 2021-09-09 17:31:34 · 5891 阅读 · 0 评论 -
pytorch多卡训练笔记
参考博客:pytorch 分布式训练 distributed parallel 笔记转载 2021-09-09 11:37:17 · 197 阅读 · 0 评论 -
Python的super()函数
描述super() 函数是用于调用父类(超类)的一个方法。super() 是用来解决多重继承问题的,直接用类名调用父类方法在使用单继承的时候没问题,但是如果使用多继承,会涉及到查找顺序(MRO)、重复调用(钻石继承)等种种问题。MRO 就是类的方法解析顺序表, 其实也就是继承父类方法时的顺序表。语法以下是 super() 方法的语法:super(type[, object-or-type])参数type -- 类。object-or-type -- 类,一般是 selfPython原创 2021-09-08 17:35:58 · 472 阅读 · 0 评论 -
关于深度学习可视化解释的显著性map学习笔记
深度学习可视化解释的显著性map学习笔记(1)CAM(Classification Activation Mapping,类激活图)。目的在于定位出图像上的哪些区域帮助CNN完成了图像的分类。普通的CNN网络,一般分成特征提取和特征分类两大模块,CAM的实现为对输出的特征进行GAP(Global Average Pooling),得到数量等于输出channel数的一个向量。后面再接一个全连接层,输入神经元数量等于feature的channel数,输出神经元的数量等于数据集的类别数。这样的网络训练完成图像原创 2021-08-27 18:23:18 · 2804 阅读 · 0 评论 -
Numpy的ascontiguousarray
1. 概述在使用Numpy的时候,有时候会遇到下面的错误:AttributeError: incompatible shape for a non-contiguous array看报错的字面意思,好像是不连续数组的shape不兼容。有的时候,在看别人代码时会看到ascontiguous()这样的一个函数,查文档会发现函数说明只有一句话:“Return a contiguous array (ndim >= 1) in memory (C order).”光靠这些信息,似乎没能道出Num转载 2021-08-27 15:06:50 · 1568 阅读 · 0 评论 -
Pytorch的数据增强、模型构建、模型可视化思维导图
Pytorch学习日志、思维导图原件以及代码可在此处下载:https://download.youkuaiyun.com/download/Joker00007/20439865原创 2021-07-23 21:13:36 · 348 阅读 · 0 评论 -
Pytorch使用tensorboardX可视化。超详细!!!
链接:https://www.jianshu.com/p/46eb3004beca转载 2021-07-15 17:40:07 · 311 阅读 · 0 评论 -
Python画图之matplotlib的imshow用法
参考博客:https://blog.youkuaiyun.com/dreaming_coder/article/details/106833727转载 2021-06-22 14:53:16 · 1628 阅读 · 0 评论 -
Python过滤器filter函数
描述filter() 函数用于过滤序列,过滤掉不符合条件的元素,返回由符合条件元素组成的新列表。该函数接收两个参数,第一个为函数,第二个为序列,序列的每个元素作为参数传递给函数进行判断,然后返回 True 或 False,最后将返回 True 的元素放到新列表中。语法filter(function, iterable)参数function – 判断函数;iterable – 可迭代对象返回值返回列表代码示例a = 'dade142.;!0142f[.,]ad'filter(str.原创 2021-06-18 15:43:38 · 1182 阅读 · 0 评论 -
Python中numpy数组增删查改
一、查和改1.通过下标访问 array[0][0] array[0,1]2.通过下标修改array[0][0] = 1array[0,0] = 2二、增1.增加一列(1)通过np.c_[a,b]方式import numpy as npa = np.array([[1,2,3],[4,5,6],[7,8,9]]) b = np.array([2,5,8])print(np.c_[a,b]) 输出:[[1 2 3 2] [4 5 6 5] [7 8 9 8]](2原创 2021-05-13 16:28:16 · 1497 阅读 · 0 评论 -
Pycharm同一目录下py文件相互调用
1. 首先确保所在目录是Python Package而不是一般的New Stratch File,或者是普通的Directory也可以;Python Package下有__init___.py或自己建空的__init___.py2. pycharm不会将当前文件目录自动加入自己的sourse_path。所以,此时,我们对当前目录(Package)点击右键,选择make_directory as–>sources path将当前工作的文件夹加入source_path就可以了。...原创 2021-05-10 17:01:33 · 5316 阅读 · 0 评论 -
深度学习Attention详解
参考链接:https://zhuanlan.zhihu.com/p/91839581转载 2021-04-07 17:42:26 · 278 阅读 · 0 评论 -
调用百度智能云API实现图像增强与特效操作流程
1.百度智能云图像增强和特效API链接如下:https://cloud.baidu.com/product/imageprocess/enhancement图像增强与特效的SDK文档链接:https://cloud.baidu.com/doc/IMAGEPROCESS/s/Wk3bcltfa2.功能接口介绍:官网链接:https://ai.baidu.com/ai-doc/IMAGEPROCESS/Uk3bcltn43.步骤(1) 在百度智能云注册账号;(2) 然后在线申请应用,获得App原创 2021-03-20 16:45:10 · 4774 阅读 · 6 评论 -
pytorch之dataloader深入剖析
参考文章:https://www.cnblogs.com/ranjiewen/p/10128046.html转载 2021-02-26 16:11:18 · 208 阅读 · 0 评论 -
卷积层和池化层后size输出公式
一、卷积中的相关函数的参数定义如下:in_channels(int) – 输入信号的通道out_channels(int) – 卷积产生的通道kerner_size(int or tuple) - 卷积核的尺寸stride(int or tuple, optional) - 卷积步长padding (int or tuple, optional)- 输入的每一条边补充0的层数dilation(int or tuple, optional) – 卷积核元素之间的间距groups(int, opt原创 2020-08-17 20:53:51 · 3908 阅读 · 0 评论 -
“shapely [WinError 126]找不到指定的模块”以及AttributeError: module ‘shapely‘ has no attribute ‘affinity‘——解决方法
问题描述1:shapely [WinError 126]找不到指定的模块解决方案先将位于Anaconda3\Lib\site-packages的shapely文件删除然后去https://www.lfd.uci.edu/~gohlke/pythonlibs/#shapely下载自己系统对应的.whl如我的python是3.7,64位,则下载Shapely‑1.7.0‑cp37‑cp37m‑win_amd64.whl定要下载对,不然会出现 … is not a supported whe原创 2020-12-03 23:09:57 · 2280 阅读 · 0 评论