ResNet--粗略解释什么是残差网络

由于前几天学习了ResNet，于是想要写篇博文，来有个更深的印象

• 在学习的时候我也遇到了资料搜集的不全，导致的学习效率低下，一定要耐住性子，技术这个东西，不是一朝一夕就能够搞懂

接下来有几个概念需要理解一下，什么是残差网络？相比之前的普通的网络结构有什么不同？

• 残差网络：
  上面的图片，具体的解释了什么是残差网络，可能会有一些小伙伴看不懂的情况，接下来我用文字描述。残差网络就是在之前的网络结构上加上了一个残差快（短接层），如下图所示：
  
  此时，可以把输入的当作F(x) = H(x) - x，这个只是推导的过程
  那么 H(x) = F(x) + x ，只要是有这个过程的都可以称为残差网络，从上图中可以看出输入的F(x) add了一个短接层
• 残差网络分为两个部分：50层以下的网络和50层以上的网络，50层称为Bottleneck接下来使用代码实现50层以下的网络，Basicblock，相比官方代码做了些精简

class BasicBlock(nn.Module):
	expansion = 1

	def __init__(self, inplanes, planes, stride=1, downsample=None, norm_layer=None):
		super(BasicBlock, self).__init__()
		if norm_layer is None:
			norm_layer = nn.BatchNorm2d
		self.conv1 = conv3x3(inplanes, planes, stride)
		self.bn1 = norm_layer(planes)
		self.relu = nn.ReLU(inplace=True)
		self.conv2 = conv3x3(inplanes, planes, stride)
		self.bn2 = norm_layer(planes)
		self.downsample = downsample
		self.stride = stride

	def forward(self, x):
		identity = x

		out = self.conv1(x)
		out = self.bn1(out)
		out = self.relu(out)

		out = self.conv2(out)
		out = self.bn2(out)

		# 下采样，网络中有的地方尺寸发生了变化，这时候对x也需要进行同时变化，即为下采样
		if self.downsample is not None