本文介绍了GoogleNet、ResNet和DenseNet这三种深度学习网络结构，探讨了它们的发展历程和核心思想。GoogleNet通过Inception模块减少参数并增强尺度适应性；ResNet利用残差学习解决深度网络中的梯度消失问题；DenseNet通过直接连接所有层实现特征重用，提高网络效率。每种网络都有其独特设计，如Inception的多尺度信息提取，ResNet的残差块，以及DenseNet的密集连接。
首先引出看别人笔记时发现的一张图：
这张图可能有点老了，没有加上后来的DenseNet。从时间线上来说，先有GoogleNet，再有ResNet，然后有DenseNet。
自AlexNet提出以来，主流网络结构突破主要在于网络更深（层数多），更宽（神经元）。GoogleNet的提出，主要着力于在增加网络深度宽度的同时减少参数。inception块结构图如下：
传统的卷积神经网络中，每一层都会从之前的层提取信息，以便将输入数据转换成更有用的表征。但是，不同类型的层会提取不同种类的信息。5×5 卷积核的输出中的信息就和 3×3 卷积核的输出不同，又不同于最大池化核的输出。但是，什么样的变换才能提供最“有用”的信息？基于这一问题，Inception 模块会并行计算同一输入映射上的多个不同变换，并将它们的结果都连接到单一一个输出，即让模型选择（这里好像是借鉴了一个关于灵长类动物视觉皮质的神经系统模型的做法 Thomas Serre, Lior Wolf, Stanley M. Bileschi, Maximilian Riesenhuber, and Tomaso Poggio. Robust object recognition with cortex-like mechani
最低0.47元/天 解锁文章
扫一扫
1209
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
