从2006年李宏毅提出限制玻尔兹曼机用于初始化多层感知机，标志着深度学习的开端，到2015年ResidualNet的152层网络结构，深度学习经历了快速发展。本文探讨了深度模型的定义与结构设计，指出非深度模型向深度模型转变的过程等同于特征工程向网络设计的转变，并讨论了深度模型在特定问题上的适用性。
李宏毅
- 2006, Restricted Boltzmann Machine. Complex. Used to initialize multi-layer perceptron (1980), to be called Deep Learning
- Network -> function set
- Deep -> many hidden layers
- 2015, Residual Net, 152 layers.
- Define the network structure <=> define a good function
- Non-deep model -> deep model <=> feature engineering -> network design. 换句话说，如果问题能很容易地抽象feature，不像video或者audio的问题中，那么可能deep model不一定是个好的选择。
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
