深度学习基础概念（一）（科普入门）

本文参考自: 原文地址

1、深度学习（Deep Learning）：

是建立在计算机神经网络理论和机器学习理论上的系统科学，它使用建立在复杂的机器结构上的多处理层，结合非线性转换方法算法，对高层复杂数据模型进行抽象。

深度学习有两大要素：

（1）数据表示：数据是机器学习的基本要素，也是神经输入网进行反馈的源头。数据的表示和建模对深度学习的性能有着很大的影响。目前关于数据表示，有局部表示、分布表示和稀疏分布表示。

（2）特征提取方法：高斯伯努利模型是特征模型的范例，用来提取数据特征。未来的特征算法研究将主要集中在自适应的特征提取和自动编码机制等方面。在提取特征的逻辑层方面，经典的有树结构和图结构。

2、反向传播（ BackPropagation ）算法：

（1）定义：

BP 神经网络（如图1）是按误差逆传播算法训练的多层前馈神经网络，它存储大量映射模式关系，无需揭示其映射方程。 BP 算法的核心思想是采用最速下降法（梯度下降法），通过反向传播调试网络的权值和阈值，使得其误差平方和最小。通过数学推导，得出误差逆传播算法的主要特点是：连接权重与学习模式误差成比例变化。

（2）优缺点：

BP 网络所提供的 BP 算法，有着一定的非线性映射能力、多层前馈网的泛化能力和样本容错能力。但是由于其学习速率是固定的，网络的收敛速度很慢，对于复杂问题难以高效解决。其次， BP 算法可以使权值收