如何理解卷积
卷积相当于对图片进行像素级别的处理,通过卷积核在图片上滑动,能够降低图片的尺寸,加深图片的通道数,提取特征。多层深层的卷积能够更好的提取特征,这些特征将被用于深度学习的预测。
1*1的卷积核的好处?
针对每个像素点,在不同的通道数上进行线性组合(信息整合),且保留了图片原有的平面结构,调整depth,从而完成升维或者降维的功能。卷积层之后经过激励层,1*1的卷积在前一层的学习表示上添加了非线性激励( non-linear activation ),提升网络的表达能力。
维度上升是为了使网络具有更好的特征表征能力,维度下降是因为让网络有更低的运算量。
膨胀卷积
膨胀卷积与普通卷积的相同点在于:卷积核的大小是一样的,在神经网络中即参数数量不变,区别在于膨胀卷积具有更大的感受野。
保持参数个数不变的情况下增大了卷积核的感受野,让每个卷积输出都包含较大范围的信息;同时它可以保证输出的特征映射(feature map)的大小保持不变。一个扩张率为2的3×3卷积核,感受野与5×5的卷积核相同,但参数数量仅为9个,是5×5卷积参数数量的36%。
神经网络中,基于感受视野,感知上一层特征。感受视野越大,越易于感知全局特征。
在分割任务中,感受视野越大,越易于检测分割大目标。
卷积核大小如何选择?比如1 * 3,3 * 1代替3*3的原理?
在达到相同感受野的情况下,卷积核越小,所需要的参数和计算量越小。比如(3 * 3)的卷积叠加在一起,相比一个大的卷积(7 * 7),与原图的连通性不变,但是大大降低了参数的个数以及计算的复杂度。
kernel_size = 3, stride = 2, padding = 1的卷积会将输入图像宽高减半,因此常用作堆叠卷积操作。
depthwise卷积的原理?
不同于常规卷积操作,Depthwise Convolution的一个卷积核负责一个通道,一个通道只被一个卷积核卷积。