【CNN】FractalNet——与DenseNet有异曲同工之妙

最新推荐文章于 2025-01-12 09:13:00 发布

原创

最新推荐文章于 2025-01-12 09:13:00 发布 · 349 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#cnn #深度学习 #神经网络

FractalNet是一种不依赖残差连接的深度学习模型，它通过组合不同长度的子路径来提升模型性能。网络的结构允许浅层子网快速响应，深层子网提供精确答案。与ResNet和DenseNet相比，FractalNet引入了路径舍弃作为正则化策略，这类似于随机失活，有助于防止过拟合。在结构上，FractalNet可以视为ResNet的变体，但更复杂，而实践中ResNet因其简洁性更常见。

FractalNet论文名称：FractalNet: Ultra-Deep Neural Networks without Residuals
FractalNet论文下载链接：

FractalNet（分型网络），2016年Gustav Larsson首次提出。

（1）分形网络不像resNet那样连一条捷径，而是通过不同长度的子路径组合，网络选择合适的子路径集合提升模型表现
（2）分形网络体现的一种特性为：浅层子网提供更迅速的回答，深层子网提供更准确的回答。
在这里插入图片描述
（1）图中以粉红色的卷积层Convolution为基础层，实际上可以为其它类型的层或者子网络；
（2）绿色的Join层一般可以用相加或concat，这里采取了相加然后取平均，因此所有基础层可以使用一样的channel数量
（3）fC(z) 中C表示列数，z表示输入，C=1表示一个基础层
（4）fC+1(z) 则如图所示，在右边叠加两个fC(z) ，左边接一个基础层
（5）以此类推，当C等于4的时候，可以得到图中的f4(z)
（6）f4(z)作为一个block，如图中最右边的网络所示，完整的网络接了5个block，block之间用Pool层连接，最后是预测层
（7）令block个数为B，每个block中的列数为C，网络的总深度为B⋅2C−1
观察上图中左半部分，描述的是网络的单个模块（block）的结构。注意，这里的fC不是CNN中常用到的全连接层，而是指分形次数为 C 的模块。fC 模块的表达式如下：
在这里插入图片描述
其中，⊕ 是一个聚合（join）操作，