初期深度学习网络

下面是一些常见深度网络：

 

LEnet:

 

Alexnet:Alexnet  输入数据格式272×272×3

(1)con - relu（激活函数） - pooling - LRN（局部响应归一化）;(2)conv - relu - pool - LRN;(3)conv - relu;(4)conv - relu;(5)conv - relu - pool;(6)fc - rele - dropout;(7)fc - relu - dropout;(8)fc - softmax

**激活函数的作用：如果不用激励函数，每一层输出都是上层输入的线性函数，无论神经网络有多少层，输出都是输入的线性组合。如果使用的话，激活函数给神经元引入了非线性因素，使得神经网络可以任意逼近任何非线性函数，这样神经网络就可以应用到众多的非线性模型中；①Relu用于隐层神经元输出；②另外softmax函数也是一类激活函数，用于多分类神经网络输出。**

 

 

googlenet: