lzn025的博客

1.detach()  作用：从当前网络分离出一个Tensor，值和原变量相同，但是不需要计算梯度。  注意：返回的Tensor和原变量共享内存。两者的原地修改均不可见，而且可能会触发正确性检查的错误。对返回的Tensor的修改不会引起原变量的修改，但会触发错误。  参考：PyTorch官方文档...

提醒自己要填的坑：  torch.memory_format  torch.preserve_format1.randn_like()torch.randn_like(input, *, dtype=None, layout=None, device=None, requires_grad=False, memory_format=torch.preserve_format) -> Tensor  返回一个和输入大小相同的张量，其由均值为0、方差为1的标准正态分布填充。即torch.ra

说明：1.这是我在学习过程中的笔记，可能会有错误，欢迎各位读者指出错误（不要因为我是娇花而联系我(╹▽╹)）2.提醒自己要填的坑：  torch.set_default_tensor_type()  torch.layout  torch.strided1.permute()意义：更改张量维度的排列import torchimport numpy as npa = np.array([[[0, 1, 2],[3, 4, 5]]])input =

BN，LN，IN，GN从学术化上解释差异：BatchNorm：batch方向做归一化，算NHW的均值，对小batchsize效果不好；BN主要缺点是对batchsize的大小比较敏感，由于每次计算均值和方差是在一个batch上，所以如果batchsize太小，则计算的均值、方差不足以代表整个数据分布LayerNorm：channel方向做归一化，算CHW的均值，主要对RNN作用明显；InstanceNorm：一个channel内做归一化，算H*W的均值，用在风格化迁移；因为在图像风格化中，生成结果主要