15、神经网络：从感知机到分类应用的全面解析

神经网络：从感知机到分类应用的全面解析

1. 从感知机到神经网络

感知机是神经网络的前身，最初它是生物神经元的数学模型。生物神经元会根据来自其他神经细胞的 $d$ 个感官输入信号决定是否激活，即产生输出信号 1 或 0。因此，感知机作为一种分类规则，仅适用于 $M = 2$ 个类别的情况。

感知机的输入 - 输出关系可以表示为：
[
c_{pc}(x; \vartheta) = \psi(w_0 + \sum_{i = 1}^{d} w_i x_i) = 1_{[0,\infty)}(w_0 + \langle w, x \rangle)
]
其中，$\vartheta = (w_0, \ldots, w_d)$ 是参数向量，$w = (w_1, \ldots, w_d)$，$\langle \cdot, \cdot \rangle$ 表示 $d$ 维输入空间中的标量积，激活函数 $\psi(u) = 1_{[0,\infty)}(u)$，$v_0 = 0$，$v_1 = 1$。感知机函数的神经元在输入的加权和超过阈值 $w_0$ 时会被激活。

若要从训练集中学习感知机的权重，可以应用经验风险最小化方法。这里使用误分类概率作为风险函数，相应的经验风险是训练样本中误分类的相对频率：
[
\hat{R}(\vartheta) = \frac{1}{N} \sum_{j = 1}^{N} L(Y_j, c_{pc}(X_j; \vartheta))
]
其中，$L(y, c) = 1$ 当 $y \neq c$，否则 $L(y, c) = 0$。

然而，感知机分类器在许多情况下会失效。受