pytorch学习--卷积神经网络，BatchNorm，残差网络

卷积

Kernel_channels 通常指kernel的个数
Stride 指步长
Padding 旁边处空白数量

举个例子：
输入是[b, 3, 28, 28]，则一个kernel为[3, 3, 3]，16个kernel为[16, 3, 3, 3]，kernel的通道必须与输入通道相一致。

nn.Conv2d

layer = nn.Conv2d(1,3,kernel_size = 3,stride = 1, padding = 0)
#inputChannel = 1, kernel_channel = 3  [3,1,3,3]
x = torch.rand(1,1,28,28)
out = layer.forward(x)    #[1,3,26,26]

out = layer(x)			#另外一种调用方式，建议

或者调用F.conv2d()

池化

pooling

Max Pooling，同样可以设置步长
Avg pooling

layer = nn.MaxPool2d(2, stride = 2)
out = layer(x)
#或者
out = F.avg_pool2d(x,2,stride = 2)

upsample

out = x.interpolate(x,scale_factor = 2, mode = 'nearest')   #其余插值方式可参考文档

ReLU

layer = nn.Relu(inplace = True)
out = layer(x)

Batch Norm

使得各维特征 度量衡大致相等，使其均值分布在0附近，收敛速度更快。
形式有四种：

Batch Norm，统计各个Channel的均值信息，输出是channel维度
如【6，3，784】->[3]

x = torch.rand(100,16,784)

layer = nn.BatchNorm1d(16)
out = layer(x)
#layer.running_mean, layer.running_var

x = torch.rand(1，16，7，7)

layer = nn.BatchNorm2d(16)
out = layer(x)

经典卷积神经网络

1*1的卷积效果 实现了channel数量的改变
[1,32,28,28] * [16,32,1,1] -> [1,16,28,28]

ResNet 残差网络

shortcut connections
输出的size与输入的size需相等。

如果输入channel与输出channel不一致，则使用一个1*1的卷积操作

DenseNet

每一层跟前面的层都有可能短接，比较密集。