【机器学习】深度前馈网络

参考

华为云学院

概述

单个感知器的表达能力有限，它只能表达线性决策面（超平面）。如果把多个感知器连接起来，就可以表达种类繁多的非线性曲面。

神经网络

神经网络基于感知器模型做了三点扩展：
（1）加入隐藏层，隐藏层可以有多层，增强模型的表达能力
（2）多个输出层神经元，灵活应用于分类回归，分类，语义分割等。
（3）扩展激活函数，包括Sigmoid函数，Softmax和ReLU等。

什么是深度学习

隐藏层比较多（大于2）的神经网络叫做深度神经网络（DNN）。也叫作前馈神经网络（FeedForward Neural Network）或者多层感知器（Multilayer Perception，MLP），是典型的深度学习模型。

深度前馈网络推导

对于第二层的三个神经元的输出

转换成矩阵表达式

进一步推广可得