深度神经网络(Deep Neural Networks, 以下简称DNN)是深度学习的基础,而要理解DNN,首先我们要理解DNN模型,下面我们就对DNN的模型与前向传播算法做一个总结。
1. 从感知机到神经网络
在感知机原理小结中,我们介绍过感知机的模型,它是一个有若干输入和一个输出的模型,如下图:
输出和输入之间学习到一个线性关系,得到中间输出结果:
z=∑i=1mwixi+bz=∑i=1mwixi+b
接着是一个神经元激活函数:
sign(z)={−11z<0z≥0sign(z)={−1z<01z≥0
从而得到我们想要的输出结果1或者-1。
这个模型只能用于二元分类,且无法学习比较复杂的非线性模型,因此在工业界无法使用。
而