《图解深度学习》学习笔记（一）

第一章 绪论

监督学习：需要基于输入数据及其期望输出，通过训练从数据中提取通用信息或特征信息(特征值)，以此得到预测模型。这里的特征值是指根据颜色和边缘等认为定义的提取方法从训练样本中提取的信息。（特征值就是根据图像转换成一串数值。）

以往的图像识别普遍使用尺度不变特征变换（Scale-Invariant Feature Transform,SIFT）、视觉词袋模型（Bag of Visual Words, BoVW)特征表达，以及费舍尔向量(Fishier Vector, FV)等尺度压缩方法。

GPU支持并行计算。计算力的提升和网络数据的采集，使得深度学习成为可能。

为什么是深度学习？

以往的机器学习都是人类手动设计特征值。例如在进行图像分类时，需要事先确定颜色、边缘或范围，再进行机器学习；

而深度学习则是通过学习大量数据自动确定需要提取的特征信息，甚至还能自动获取一些人类无法想象的由颜色和边缘等组合起来的特征信息。所以，利用深度学习，即便是难度较高的认证问题也能得到绝佳的性能。

什么是深度学习？

深度学习的起源包括感知器和玻尔兹曼机。

• 起源于“感知机”的深度学习中，最基本的结构是把多个感知器组合到一起得到的多层感知器。在多层感知器的基础上加入类似人类视觉皮质的结构而得到的卷积神经网络被广泛应用于图像识别领域。
• 起源于“基于图模型的玻尔兹曼机”的深度学习中，深度玻尔兹曼机以及深度信念网络是通过把多个受限玻尔兹曼机组合到一起而得到的。

起源于感知器的深度学习是一种有监督学习，根据期望输出训练网络；而起源于受限玻尔兹曼机的深度学习是一种无监督学习，只根据特定的训练数据训练网络。

第二章 神经网络

 

神经网络的历史

 

1、M-P模型：首个通过模仿神经元而形成的模型

在M-P模型中，多个输入节点{ }对应于一个输出节点y。每个输入乘以相应的连接权重wi,然后相加得到输出y。结果之和如果大于阈值h,则输出1，否则输出0。输入和输出均是0或1。