深度学习主要历史简介和资源推荐

转载请注明出处

第一代神经网络：

MCP神经元模型，该模型将神经元简化为三个过程：

1. 输入信号加权

2. 求和

3. 非线性逼近

1958 单层感知机

死刑：只能处理线性分类问题，连XOR问题都解决不了。

 

第二代神经网络：

1986 适用于MLP的BP算法和Sigmoid，有效解决了非线性分类和学习的问题。

1989 万能逼近定理 LeNet

1997 LSTM模型

死刑：BP算法存在梯度消失问题，即在误差梯度后向传递的过程中，后层梯度以乘性方式叠加到前层，由于Sigmoid函数的饱和特性，后层梯度本来就小，误差梯度传到前层几乎为0，因此无法对前层进行有效的学习。

 

统计学习方法的春天：

1986 决策树，之后ID3、ID4、CART等，符号学习方法

1995 线性SVM，有完美的数学理论推导做支撑

1997 AdaBoost 集成学习，回归和分类效果好

2000 Kernel SVM 解决了非线性分类的问题

2001 随机森林 更好地抑制过拟合， 图模型被提出

 

第三代神经网络：

2006 梯度消失的解决方案：无监督预训练对权值进行初始化+有监督训练微调。

2011 ReLU激活函数被提出，有效地抑制梯度消失的问题。

2012 ImageNet图像识别比赛，构建CNN网络AlexNet夺冠，碾压第二名。爆发。

创新点：1. ReLU 2.有监督训练 3.Dropout层、LRN层减小过拟合。

2015 Loss的局部极值问题对于深层网络的影响可以忽略。原因是深层网络虽然局部极值非常多，但是通过深度学习的Batch Gradient Descent优化方法很难陷进去，就算陷进去，其局部极小值点与全局极小值点也非常接近。

2015 DeepResidual Net 设计了一个对于单位映射有较强学习能力的深度学习网络，增强了深度学习网络的表达能力。

 

深度学习是理论和工程相结合的领域，不仅仅需要写代码的能力强，也需要有理论知识能够看得懂论文，实现论文提出来的新想法，所以应该理论与代码相结合。

 

机器学习基础资源推荐--由易到难：

• Coursera上Andrew Ng的机器学习
• 林轩田的机器学习
• Udacity的机器学习（好像要钱）
• 周志华《机器学习》
• 李航《统计学习方法》
• Pattern Recognition and Machine Learning （我们的课本）

 

深度学习：

• Udacity的深度学习 （好像要钱）
• Coursera的Neural Networks for Machine Learning
• cs231n
• cs224n