Golden-sun的博客

KL 散度的使用场景KL散度( Kullback–Leibler divergence)，又称相对熵，是描述两个概率分布 P 和 Q 差异的一种方法torch.nn.functional.kl_div(input, target, size_average=None, reduce=None, reduction='mean')torch.nn.KLDivLoss(input, target, size_average=None, reduce=None, reduction='mean')第一

文章目录固定部分层参数固定指定层的参数不同层设置不同的学习率固定部分层参数class RESNET_attention(nn.Module): def __init__(self, model, pretrained): super(RESNET_attetnion, self).__init__() self.resnet = model(pretrained) # 这个model被固定 for p in self.parameters():

1. torch tensor 格式from torchvision.utils import save_image img_train_list = torch.cat([image_s,image_r,im_G[0],fake_A,mask_s[:, :, 0],mask_r[:, :, 0]]) result_path = self.save_path_dir+'/image' if not os.path.exi

使用命名空间localslocals 中是当前程序段中的全部变量名是一个字典的形式所以我们新增的话，直接和字典那样就行了names = locals() #获取当前程序段中的全体局部变量名 for i in np.arange(0,10): names[f'name_{i}']=i...

文章目录一，Pytorch1. 直接保存Tensor2.Tensor 转CV2 保存二、python1. opencv2.matplotlib:3. PIL一，Pytorch1. 直接保存Tensor#!/usr/bin/env python# _*_ coding:utf-8 _*_import torchfrom torchvision import utils as vutils def save_image_tensor(input_tensor: torch.Tensor, f

tensoflow函数和pytorch函数之间的转换tensorflowpytrochtf.reshape(input, shape)input.view()tf.expand_dims(input, dim)input.unsqueeze(dim) / input.view()tf.squeeze(input, dim)torch.squeeze(dim)/ input.view()tf.gather(input1, input2)input1[input2

inplace作用：1.用relu后的变量进行替换，直接把原来的变量覆盖掉2.节省了内存缺点:有时候出现梯度回传失败的问题，因为之前的变量被替换了，找不到之前的变量了参考这篇文章

os.environ[‘环境变量名称’]=‘环境变量值’ #其中key和value均为string类型import osos.environ["CUDA_VISIBLE_DEVICES"]=‘6‘’，‘7’这个语句的作用是程序可见的显卡ID。注意如果"CUDA_VISIBLE_DEVICES" 书写错误，也不报错，自动选用第一个显卡...

1.batchsize越大 是不是训练越快？GPU :一块2080Ti平台：pytorch cuda图片数量：2700batchsize一个图片处理时间GPU内存占用GPU算力使用一个epoch 所用时间10.117s2.5G20%2700 * 0.0117 = 318s50.516s8G90%2700 * 0.516/5 = 279sbatchsize大了之后，占用的资源多了，算力多了，但是速度没有提升，这样是不是太坑了。我们其实可以把 b

1.手写更新权重#求 y = w*xx_data = [1.0,2.0,3.0,4.0]y_data = [2.0,4.0,6.0,8.0]w = 1.0def grad(x,y): #计算梯度 # (y^ - y)^2 =（wx -y)^2 grad:2w(wx-y) return 2 * x * (w * x - y)def loss(x,y): return (y - (w * x)) * (y - (w * x))for i in range(30)

设置学习率衰减 if (self.e+1) > (self.num_epochs - self.num_epochs_decay): g_lr -= (self.g_lr / float(self.num_epochs_decay)) d_lr -= (self.d_lr / float(self.num_epochs_decay)) self.update_lr(g_lr, d_lr)

1. nn.Dataparallel多GPU加速训练原理：模型分别复制到每个卡中，然后把输入切片，分别放入每个卡中计算，然后再用第一块卡进行汇总求loss，反向传播更新参数。第一块卡占用的内存多一点，因为output loss每次都会在第一块GPU相加计算，这就造成了第一块GPU的负载远远大于剩余其他的显卡。要求：batch_size > GPU 数量第一种方法：os.environment['CUDA_VISIBLE_DEVICES'] = '0,1,2,3'device_ids

安装：torchfile（1）安装torchfile pip install torchfile（2）将from torch.utils.serialization import load_lua改为import torchfile（3）将load_lua改为torchfile.load

下载sshhttps://github.com/PowerShell/Win32-OpenSSH/releases然后把它放入 C:\Program Files 中添加环境变量高级系统设置-》高级-》环境变量-》是用户变量 不是系统变量选择 path- 然后点击编辑，然后新建， 把刚才的地址放进去C:\Program Files\OpenSSH-Win64测试输入ssh...

安装显卡驱动查看驱动版本cat /usr/local/cuda/include/cudnn.h | grep CUDNN_MAJOR -A 2安装anaconda下载：获取anaconda在清华镜像站的网址，然后在服务器端wget 网址就行了。清华镜像站中anaconda的所有版本的网址：https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/找到自己想要的那个版本，然后右键-》复制链接地址。接下来在服务器端找一个好的目录，wget +

遍历named_parameters()中的所有的参数，只打印那些param.requires_grad=True的变量。 for name, param in model.named_parmeters(): if param.requires_grad: print(name)

1.进入官网https://download.pytorch.org/whl/torch_stable.html选择自己合适的下载下来，然后把下载下来的文件 放入服务器的指定文件夹中2.cd 到指定文件夹运行pip3 install torch-1.0.0-cp36-cp36m-linux_x86_64.whlpip install torchvision-0.2.0-py2.py3-none-any.whl最后检验 完成...

1.官方的数据集 MNIST使用torchvision.datasets 里面有很多数据集供选择import torchimport torchvisionfrom torchvision import transforms, modelsbatch_size = 32 transform = transforms.Compose([ transforms.ToTensor(), transforms.Normalize(mean=(0.5),std=(0.5)),])tra

进入官网https://pytorch.org/get-started/locally/然后打开 anaconda Prompt输入 conda install pytorch torchvision cpuonly -c pytorch 即可

这里是引用 def __len__(self): return len(self.images_name) 注意这个地方

train_dataloader=DataLoader(train_dataset,batch_size=batch_size,shuffle=True,num_workers=4)把nu_worker=4 去掉train_dataloader=DataLoader(train_dataset,batch_size=batch_size,shuffle=True)

列表生成式即List Comprehensions，是Python内置的非常简单却强大的可以用来创建list的生成式。list(range(1,6))[1,2,3,4,5]print([x*x for x in range(10)])[0, 1, 4, 9, 16, 25, 36, 49, 64, 81]print([x*x for x in range(10) if x%2==0]...

源代码：with open (os.path.join(self.root,filename),mode=‘w’,newline=’’) as f:writer=csv.writer(f)for img in images:name=img.split(os.sep)[-2]label=self.name2lable[name]writer.writerow([img,label])解...