4、浅神经网络：原理、特性与应用全解析

浅神经网络：原理、特性与应用全解析

1. 浅神经网络简介

在之前的学习中，一维线性回归的监督学习模型只能将输入输出关系描述为一条直线。而浅神经网络能够描述分段线性函数，足以近似多维输入和输出之间任意复杂的关系。

浅神经网络是具有参数 $\phi$ 的函数 $y = f[x, \phi]$，它将多变量输入 $x$ 映射到多变量输出 $y$。下面通过一个具体的例子来介绍其主要思想，该网络将标量输入 $x$ 映射到标量输出 $y$，并且有十个参数 $\phi = {\phi_0, \phi_1, \phi_2, \phi_3, \theta_{10}, \theta_{11}, \theta_{20}, \theta_{21}, \theta_{30}, \theta_{31}}$，其表达式为：
[y = f[x, \phi] = \phi_0 + \phi_1a[\theta_{10} + \theta_{11}x] + \phi_2a[\theta_{20} + \theta_{21}x] + \phi_3a[\theta_{30} + \theta_{31}x].]
这个计算可以分解为三个部分：
1. 计算输入数据的三个线性函数：$\theta_{10} + \theta_{11}x$、$\theta_{20} + \theta_{21}x$ 和 $\theta_{30} + \theta_{31}x$。
2. 将这三个结果通过激活函数 $a[\cdot]$。
3. 用 $\phi_1$、$\phi_2$ 和 $\phi_3$ 对三个激活结果进行加权，求和后再加上偏移量 $\phi_0$。

激活函数 $a[\cdot]$ 有很多选