CNN(卷积神经网络)、RNN(循环神经网络)、DNN(深度神经网络)的内部网络结构的区别...

   先说DNN，从结构上来说他和传统意义上的NN（神经网络）没什么区别，但是神经网络发展时遇到了一些瓶颈问题。一开始的神经元不能表示异或运算，科学家通过增加网络层数，增加隐藏层可以表达。并发现神经网络的层数直接决定了它对现实的表达能力。但是随着层数的增加会出现局部函数越来越容易出现局部最优解的现象，用数据训练深层网络有时候还不如浅层网络，并会出现梯度消失的问题。我们经常使用sigmoid函数作为神经元的输入输出函数，在BP反向传播梯度时，信号量为1的传到下一层就变成0.25了，到最后面几层基本无法达到调节参数的作用。值得一提的是，最近提出的高速公路网络和深度残差学习避免梯度消失的问题。DNN与NN主要的区别在于把sigmoid函数替换成了ReLU，maxout，克服了梯度消失的问题。下图附有深度网络DNN结构图

 

 

  深度学习的深度没有固定的定义，2006年Hinton解决了局部最优解问题，将隐含层发展到7层，这达到了深度学习上所说的真正深度。不同问题的解决所需要的隐含层数自然也是不相同的，一般语音识别4层就可以，而图像识别20层屡见不鲜。但随着层数的增加，又出现了参数爆炸增长的问题。假设输入的图片是1K*1K的图片，隐含层就有1M个节点，会有10^12个权重需要调节，这将容易导致过度拟合和局部最优解问题的出现。为了解决上述问题，提出了CNN。

  CNN最大的利用了图像的局部信息。图像中有固有的局部模式（比如轮廓、边界，人的眼睛、鼻子、嘴等）可以利用，显然应该将图像处理中的概念和神经网络技术相结合，对于CNN来说，并不是所有上下层神经元都能直接相连，而是通过“卷积核”作为中介。同一个卷积核在所有图像内是共享的，图像通过卷积操作后仍然保留原先的位置关系。卷积神经网络隐含