dddxmx的博客

本质 ResNet跨层连接设计的引申。 与ResNet的主要区别在于，DenseNet⾥模块B的输出不是像ResNet那样和模块A的输出相加，⽽是在通道维上连结。在这个设计⾥，模块A直接跟模块B后⾯的所有层连接在了⼀起。这也是它被称为“稠密连接”的原因. 稠密块 由多个conv_block组成，每个conv_block使用“批量归一化、激活和卷积”结构。conv_block的通道数控制了输出通道数相对于输⼊通道数的增⻓，因此也被称为增⻓率（growth rate）。 DENSENET ⾸先使⽤同ResNe

本质 拟合出有关恒等映射的残差映射f(x)-x并将加权运算的权重和偏差参数学成0，那么f(x)即为恒等映射。 残差块 ⾸先有2个有相同输出通道数的3 * 3卷积层。每个卷积层后接⼀个批量归⼀化层和ReLU激活函数。然后我们将输⼊跳过这两个卷积运算后直接加在最后的ReLU激活函数前。这样的设计要求两个卷积层的输出与输⼊形状⼀样，从⽽可以相加。如果想改变通道数，就需要引⼊⼀个额外的1 * 1卷积层来将输⼊变换成需要的形状后再做相加运算。 残差网络 首先是输出通道数为64、步幅为2的7 * 7卷积层后接一个批量归

本质 通过重复使⽤简单的基础块来构建深度模型。 VGG块 组成规律是：连续使⽤数个相同的填充为1、窗⼝形状为3 * 3的卷积层后接上⼀个步幅为2、窗⼝形状为2 * 2的最⼤池化层。卷积层保持输⼊的⾼和宽不变，⽽池化层则对其减半。 VGG这种⾼和宽减半以及通道翻倍的设计使得多数卷积层都有相同的模型参数尺⼨和计算复杂度。 VGG网络 由卷积层模块后接全连接层模块构成。变量conv_arch 指定了每个VGG块⾥卷积层个数和输⼊输出通道数。 本文中的网络有5个卷积块，前2块使⽤单卷积层，⽽后3块使⽤双卷积层。第⼀