budding0828

cloneclone()函数可以返回一个完全相同的tensor,新的tensor开辟新的内存，但是仍然留在计算图中。detachdetach()函数可以返回一个完全相同的tensor,新的tensor开辟与旧的tensor共享内存，新的tensor会脱离计算图，不会牵扯梯度计算。非常推荐大家阅读这篇博客：https://blog.youkuaiyun.com/winycg/article/details/100813519...

最近使用了pytorch的KL散度计算模块，发现loss是负值，例如下面的代码。import torchKL_criterion = torch.nn.KLDivLoss(size_average=False)a = torch.tensor([0.1, 0.2, 0.3, 0.4])b = torch.tensor([0.1, 0.2, 0.3, 0.4])loss = KL_criterion(a, b)print(loss)其结果为：-1.5799后来通过网上的解释（http

使用清华镜像源下载pytorch由于墙的缘故，我们在国内下载pytorch的速度是非常慢的，甚至还容易出现中断。这时我们可以使用国内的清华源，自己下载所需要的包，然后本地安装。清华镜像首先去清华源pytorch的网站找我们所需要的包：https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/下载所需要的包例如我想下载 py...

pytorch register_hook 学习register_hook 简介：pytorch 的 hook 函数分为 torch.Tensor 和 torch.nn.Module 两类， 分别对应：torch.Tensor.register_hooktorch.nn.Module.register_backward_hook参考：https://blog.youkuaiyun.com/qq_...

pytorch 打印模型的参数值对于简单的网络例如全连接层Linear可以使用以下方法打印linear层：fc = nn.Linear(3, 5)params = list(fc.named_parameters())print(params.__len__())print(params[0])print(params[1])输出如下：由于Linear默认是偏置bias的，...

一步步解析nn模块来源：https://pytorch.org/tutorials/beginner/nn_tutorial.html#refactor-using-optim数据集使用的数据集是MNIST，有多种方式可以获取，包括教程中的requests方式。这里不在详细说明，但是说明将数据转化为图片的方式。（MNIST的数据是手写数字）使用matplotlib显示图片pyplot.i...

首先是一个两层网络，使用numpy版本和pytorch版本其实如果仔细对比，差别不大。代码量也相似。因为这里没有使用pytorch的自动梯度计算。numpy版本# -*- coding: utf-8 -*-import numpy as np# N is batch size; D_in is input dimension;# H is hidden dimension; D_o...

在GPU上训练来源：https://pytorch.org/tutorials/beginner/blitz/cifar10_tutorial.html#training-an-image-classifier定义设备如果我们的机器支持CUDA，那么我们使用第一个cuda设备为cuda0device = torch.device("cuda:0" if torch.cuda.is_av...

来源：https://pytorch.org/tutorials/beginner/blitz/neural_networks_tutorial.html#backprop来源里面有比较详细的例子。这里挑几点比较重点的作为recap定义一个模型import torchimport torch.nn as nnimport torch.nn.functional as Fclas...

autograd package来源：https://pytorch.org/tutorials/beginner/blitz/autograd_tutorial.html如果属性：.requires_grad 的值是true，那么意味着所有的计算都会自动计算backword.当结束计算的时候，可以调用.backward()，所有的梯度都会自动被计算好。tensor的梯度可以查看属性.gr...

为什么学习pytorch替代numpy，使得可以更好使用GPUs为深度学习提供最大的灵活性和速度学习前提确保安装了torch的包，以下句子可以顺利执行import torch变量操作来源：https://pytorch.org/tutorials/beginner/blitz/tensor_tutorial.html#sphx-glr-beginner-blitz-tensor...