神经网络基础理论

机器学习训练营——机器学习爱好者的自由交流空间（入群联系qq：2279055353）

神经网络是什么？

神经网络(Neural Networks)专业术语，涵盖了一大类统计模型和学习算法。在这里，我们介绍最普遍使用的"vanilla"神经网络，有时也称单隐层后向传播网络，或者简称单层感知器(single layer perceptron).
一个神经网络，简单地说，就是一个非线性统计模型。具体地说，一个神经网络是一个两阶段回归或分类模型，也就是说，神经网络可以应用于回归或分类问题。典型的神经网络，用一个示意图表示如下：

对于回归，通常只有一个因变量，即，神经网络的顶端只有一个输出变量 $Y_1$. 对于K-类的分类问题，顶端有K个0-1型变量 $Y_1,Y_2,\dots ,Y_K$.

中间层的导出特征 $Z_m(m=1,2,dots,M)$ 由输入 $X$ 的线性变换得到，然后目标变量 $Y_k$ 用一个 $Z_1,\dots ,Z_M$ 的线性组合的函数拟合。

$$Z_m=\sigma ({\alpha }_{0m}+{\alpha }_m^{T}X),m=1,2,\dots ,M$$
$$T_k={\beta }_{0k}$$