深度学习 发展 优缺点 面试

去参加鹅场的笔试，问到对深度学习的理解时，用了半个小时写下了这写答案，分析了深度学习的起源，发展，以及优缺点，为什么会有些有问题的存在，有些地方还不完善，还需要补充。

神经网络在发展过程中，经历了3次起伏，这很重要的原因在于神经网络的优缺点在不同时代得以体现。在理论上讲，只包含单层隐藏层神经网络，可以拟合任何函数，然后这在实际情况中是不常用的。往往采用含多层隐藏层的神经网络来对数据进行拟合。
一、缺点及有效的措施
1、在早期，由于BP算法还没有发明，并且当时的计算能力有限，建立的神经网络规模很小，因此神经网络的性能也受很大限制。在90年代，发明了BP算法后，便可以采用误差反向传播，通过误差来指导神经网络的训练，采用梯度下降优化算法，每次减小预测值和目标值的差别来达到模型的学习。但是，当神经网络规模逐渐增大，包含的隐藏层逐渐增多，此时采用BP算法的过程中，会出现梯度消失的过程，者往往是因为误差消失而导致的，因此神经网络前面的权值几乎不会更新，因此导致了神经网络拟合数据的准确率受限制。研究者为了保留神经网络的误差，提出了不同的策略来保留误差，使得误差可以传递而不会出现消失的现象。
2、神经网络模型可变的部分主要有神经网络的构成，架构（即选择构建多少层神经网络，每层多少个隐含结点，每个隐含结点的激活函数如何选择，层与层之间的连接如何等），一般情况下，在构建好神经网络后，神经网络的训练就变成了层与层之间权重的学习，为了更好的毕竟目标值，设计了许多权重学习算法，包括梯度下降算法，共轭梯度法，拟牛顿法L-BMGS，信赖域方法等。随着神经网络规模的不断扩充，要学习的参数也越来越多，神经网络的自由度越来越大，这给训练神经网络模型带来了很大的困难。复杂神经网络的训练，极易陷入到局部极小值而无法跳出，因此研究者设计了很多训练方法来尽量避免神经网络陷入局部极小值。
3、如2所说，随着神经网络结构的复杂，神经网络拟合模型的能力也越来越强大，但这往往会出现过拟合的情况，这在机器学习中使非常致命的问题，即在训练数据上表现的很好，但是泛化能力却很差，在未见到的数据上，表现的很差。因此，研究者为了尽可能避免神经网络过拟合的情况发生，提出了许多方法。（1）其中非常常规的方法便是增加数据，因此参数的增多，参数空间呈指数变