深度神经网络（DNN）模型与前向传播算法

　深度神经网络（Deep Neural Networks， 以下简称DNN）是深度学习的基础，而要理解DNN，首先我们要理解DNN模型，下面我们就对DNN的模型与前向传播算法做一个总结。

1. 从感知机到神经网络

　　　　在感知机原理小结中，我们介绍过感知机的模型，它是一个有若干输入和一个输出的模型，如下图:

　　　　输出和输入之间学习到一个线性关系，得到中间输出结果：

z=∑i=1mwixi+bz=∑i=1mwixi+b

　　　　接着是一个神经元激活函数:

 

sign(z)={−11z<0z≥0sign(z)={−1z<01z≥0

　　　　从而得到我们想要的输出结果1或者-1。

　　　　这个模型只能用于二元分类，且无法学习比较复杂的非线性模型，因此在工业界无法使用。

　　　　而