【菜鸟学深度】Introduction to Machine Learning CMU-10701

大家好，我是ColdZoo，本博客是在学习 卡耐基梅隆大学的Slides—
Introduction to Machine Learning CMU-10701 （以下简称Slides）之后得出的总结。记录下自己的成长。

目前写到LeNet部分，你的支持是我写下去的动力哦~

大部分内容为英文直接翻译，一切版权归原作者Barnabás Póczos & Aarti Singh所有。 Slides的作者认为目前的Deep Learning 走错路了，如日中天的CNN进不了法眼，目的主要是介绍深度信念网络DBN 和深度玻尔兹曼机DBM.

---

深度架构（deep architecture）的定义

深度架构是由多层非线性运算堆叠而成的架构。例如含有多有隐含层的神经网络。

上图中含有多个层，每一层都有不同的输出函数。

深度架构的目标

深度架构的目标是：

1. 学习特征层次

2. 学习高层特征是如何由底层特征表示出来的

   
   特征层次的示例图，从最底层的Raw input（原始输入）到最后的高层一个ANP的形式。ANP这里可以对应一个概念，也可以是概念的组合。

深度架构的神经生物学动机

• 动机一：目前绝大多数所谓机器学习的架构都是浅薄的（shallow architecture）, 例如SVM,KNN,PCA