budding0828

clone clone()函数可以返回一个完全相同的tensor,新的tensor开辟新的内存，但是仍然留在计算图中。 detach detach()函数可以返回一个完全相同的tensor,新的tensor开辟与旧的tensor共享内存，新的tensor会脱离计算图，不会牵扯梯度计算。 非常推荐大家阅读这篇博客：https://blog.youkuaiyun.com/winycg/article/details/100813519 ...

最近使用了pytorch的KL散度计算模块，发现loss是负值，例如下面的代码。 import torch KL_criterion = torch.nn.KLDivLoss(size_average=False) a = torch.tensor([0.1, 0.2, 0.3, 0.4]) b = torch.tensor([0.1, 0.2, 0.3, 0.4]) loss = KL_criterion(a, b) print(loss) 其结果为： -1.5799 后来通过网上的解释（http

使用清华镜像源下载pytorch 由于墙的缘故，我们在国内下载pytorch的速度是非常慢的，甚至还容易出现中断。这时我们可以使用国内的清华源，自己下载所需要的包，然后本地安装。 清华镜像 首先去清华源pytorch的网站找我们所需要的包： https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/ 下载所需要的包 例如我想下载 py...

pytorch register_hook 学习 register_hook 简介： pytorch 的 hook 函数分为 torch.Tensor 和 torch.nn.Module 两类， 分别对应： torch.Tensor.register_hook torch.nn.Module.register_backward_hook 参考： https://blog.youkuaiyun.com/qq_...

pytorch 打印模型的参数值 对于简单的网络 例如全连接层Linear 可以使用以下方法打印linear层： fc = nn.Linear(3, 5) params = list(fc.named_parameters()) print(params.__len__()) print(params[0]) print(params[1]) 输出如下： 由于Linear默认是偏置bias的，...

为什么学习pytorch 替代numpy，使得可以更好使用GPUs 为深度学习提供最大的灵活性和速度 学习前提 确保安装了torch的包，以下句子可以顺利执行 import torch 变量操作 来源：https://pytorch.org/tutorials/beginner/blitz/tensor_tutorial.html#sphx-glr-beginner-blitz-tensor...

autograd package 来源：https://pytorch.org/tutorials/beginner/blitz/autograd_tutorial.html 如果属性：.requires_grad 的值是true，那么意味着所有的计算都会自动计算backword.当结束计算的时候，可以调用.backward()，所有的梯度都会自动被计算好。 tensor的梯度可以查看属性.gr...

来源：https://pytorch.org/tutorials/beginner/blitz/neural_networks_tutorial.html#backprop 来源里面有比较详细的例子。这里挑几点比较重点的作为recap 定义一个模型 import torch import torch.nn as nn import torch.nn.functional as F clas...

在GPU上训练 来源：https://pytorch.org/tutorials/beginner/blitz/cifar10_tutorial.html#training-an-image-classifier 定义设备 如果我们的机器支持CUDA，那么我们使用第一个cuda设备为cuda0 device = torch.device("cuda:0" if torch.cuda.is_av...

首先是一个两层网络，使用numpy版本和pytorch版本 其实如果仔细对比，差别不大。代码量也相似。因为这里没有使用pytorch的自动梯度计算。 numpy版本 # -*- coding: utf-8 -*- import numpy as np # N is batch size; D_in is input dimension; # H is hidden dimension; D_o...

一步步解析nn模块 来源：https://pytorch.org/tutorials/beginner/nn_tutorial.html#refactor-using-optim 数据集 使用的数据集是MNIST，有多种方式可以获取，包括教程中的requests方式。这里不在详细说明，但是说明将数据转化为图片的方式。（MNIST的数据是手写数字） 使用matplotlib显示图片 pyplot.i...