Hungryof的专栏

How to reverse a multi-hot encoding ?multihot_batch = torch.tensor([[0,1,0,1], [0,0,0,1], [0,0,1,1]])(multihot_batch == torch.tensor(1)).nonzero()tensor([[0, 1], [0, 3], [1, 3], [2, 2], [2, 3]])希望得到[[1, 3],[3],[2, 3]

总说有时候，我们构建一种中间特征的loss。需要拿到feature，然后这个 feature 和 target_feat 比较。不要直接在model的forward中求loss，否则只能在单GPU上跑。而是最终将feature和target_feat都返回，在train里面，此时这些返回的 feat会自动变成 主GPU上的tensor，从而不会有tensor不在同一个device的问题。...

总说针对类别数目不均匀的数据，有些类图片多，有些少，如果直接训练，那么就会造成过拟合类别多的数据。最简单的方法就是重采样，直接根据每一类的数目，来重新分配权重。你想想，普通肯定是均匀概率采样的，自然数目多的图片，采样到的概率就大。神奇的 WeightedRandomSampler直接丢代码# 数据集中，每一类的数目。 class_sample_counts = [150, 200, 300] weights = 1./ torch.tensor(class_sample_counts, dtyp

总说一个非常有用的函数，主要是用于“group index”的操作。from torch_scatter import scatterimport torchsrc = (torch.rand(2, 6, 2)*4).int()index = torch.tensor([0, 1, 0, 1, 2, 1])# Broadcasting in the first and last dim.out = scatter(src, index, dim=1, reduce="sum")prin

总说大家都知道，默认的DataLoader每次返回的Tensor的尺寸都是固定的，因为batchsize>1时，默认需要stack一下，比如__getitem__()返回的图片return img，其中img是 CHW, 你在外面拿到就是 N*C*H*W了。因为，默认return torch.stack(batch, 0, out=out)了一下。如果每次img图片不一样，就会出错。有些...

总说这里记录一些比较难的操作：Advanced Indexing 可以用于赋值import torcha = torch.rand(5,5)x_indice = torch.LongTensor([1, 3, 4])y_indice = torch.LongTensor([2, 1, 1])value_put = torch.rand(3)*10print('Before')pr...

简易版本,pytorch文档上，不同层用不同学习率，可以用这个。optim.SGD([ {'params': model.base.parameters()}, {'params': model.classifier.parameters(), 'lr': 1e-3} ], lr=1e-2, momentu...

总说参考的链接：https://blog.youkuaiyun.com/tsyccnhhttps://www.zhihu.com/question/41252833/answer/140950659先理解一下信息熵、交叉熵和相对熵先找一下交叉熵的定义：1）信息熵：编码方案完美时，最短平均编码长度的是多少。2）交叉熵：编码方案不一定完美时（由于对概率分布的估计不一定正确），平均编码长度的是多少...

总说没办法, 出来混总是要还的, 不会写点底层代码没法混啊. 废话不多说, 简单来说, 有时候我们需要写一些自定义的操作, 这些操作如果用python写会很慢, 我们需要用CUDA写, 然后这些操作与python绑定, 以供python端调用.主要是简略拿出 https://pytorch.org/tutorials/advanced/cpp_extension.html 的东西, 根据实践,...

总说记录一些比较有用的pytorch代码(有些是自己写的, 有些是从网上看到的)目录提取网络特征(适用于sequential构建的网络)修改Pretrained的网络(如ResNet等)提取网络特征(适用于sequential构建的网络)class VGG16FeatureExtractor(nn.Module): def __init__(self): s...

总说我们知道，pytorch一般情况下，是将网络中的参数保存成OrderedDict形式的。这里额参数其实包括2种。一种是模型中各种 module含的参数，即nn.Parameter，我们当然可以在网络中定义其他的nn.Parameter参数。；另外一种是buffer。前者每次optim.step会得到更新，而不会更新后者。例子class myModel(nn.Module):...

VQA中常用的方法是Dynamic网络，就是一个网络的输出作为另一个网络的filter权重。fliter = nn.Conv2d(…)# 当然这样写诗错的filter.weight.data.fill_(network_output).filter.forward(image)正确写法:import torch.nn.functional as Fp = F.conv2...

简单的模型load一般来说，保存模型是把参数全部用model.cpu().state_dict(), 然后加载模型时一般用 model.load_state_dict(torch.load(model_path))。 值得注意的是：torch.load 返回的是一个 OrderedDict.import torchimport torch.nn as nnclass Net_old(...

其实一般来说，如果一个net中，是一个Sequential直接把所有层全部包含起来的，那么不好获得其中任意一层的feature map（至少我还不知道。。， 比较简单的方法就是 在想要得到那一层的后面的网络，全部用另一个sequential包含起来。比如：import torchfrom torch.autograd import Variableimport torch.nncl...

总说记录一下一些小知识, 方便查用.(不断更新中) 1. 自定义RNN的写法: Implementation of Multiplicative LSTM 2. 自定义二阶梯度写法: How to implement customized layer with second order derivatives How to customize the double backward 3...

总说由于pytorch 0.4版本更新实在太大了, 以前版本的代码必须有一定程度的更新. 主要的更新在于 Variable和Tensor的合并., 当然还有Windows的支持, 其他一些就是支持scalar tensor以及修复bug和提升性能吧. Variable和Tensor的合并导致以前的代码会出错, 所以需要迁移, 其实迁移代价并不大.Tensor和Variable的合并...

错误信息: RuntimeError: in-place operations can be only used on variables that don’t share storage with any other variables, but detected that there are 4 objects sharing it自动求导是很方便, 但是想想, 如果两个Variable...

总说使用方式: 1. 定义TC语言, 然后传入 tc.define 2. 创建torch tensors(用不用Variable包起来都不影响, pytorch0.4版本都没必要加Variable, 直接tensor即可) 3. 跑这一层就行import tensor_comprehensions as tcimport torchMATMUL_LANG = """def ...

初衷其实, 有时候你会很难受. 因为你有一些想法, 在python端写会很慢, 写成cuda代码又有难度, 还要想着各种优化. 这时候你就不爽了,好不容易想到骚操作, 竟然因为写不来代码, 就泯灭这个想法吗. 这时候, 你可以看看Tensor Comprehesions(TC)这个包.先吹一波: TC是一个让你不用写高性能代码的包, 它会直接根据简单的语法来生成GPU代码. 如果你还在为...

pytorch版的neural style解读

pytorch自定义层，各种情况说明。

detach()的作用分析

数据加载和预处理的通用方法

pytorch加载数据（初步）

Pytorch学习，直接看例子快速入门。

DataParrallelimport torch.nn as nnclass DataParallelModel(nn.Module): def __init__(self): super().__init__() self.block1 = nn.Linear(10, 20) # wrap block2 in DataParallel

pytorch和torch的对比。pytorch将所有的Container都用autograd替代。这样的话根本不需要用ConcatTable，CAddTable之类的。直接用符号运算就行了。 output = nn.CAddTable():forward({input1, input2}) 直接用output = input1 + input2 就行。真简单。

pytorch能自动反向传播。 前向传播时，能够自动记录每个操作的拓扑顺序，反向传播时则可以自动反向传播。VariableVariable是一个类，对是对tensor的一个wrapper。 有三个属性.data, .grad和.creator。如果是第一个运算节点，显然.creator是空，.grad只有调用.backward时候才会有。 require_grad可以指定某个variable

为什么入坑pytorch一般来说，入门一新坑，先会被众多“胡言乱语”所迷惑。于是我看了这些。。 1. ICLR2017的论文现在越来越多用pytorch了，而不是tensorflow了。ICLR-17最全盘点：PyTorch超越TensorFlow，三巨头Hinton、Bengio、LeCun论文被拒，GAN泛滥