2、感知机：原理、训练算法与激活函数详解

感知机：原理、训练算法与激活函数详解

一、感知机基础与训练算法引入

感知机是神经网络领域的基础模型，在模式分类等任务中有着重要应用。在深入了解感知机训练算法之前，我们先明确几个关键概念。

感知机的偏置（bias）在决策边界中起着重要作用。偏置可以改变决策边界的位置，但不改变其方向。我们可以将偏置 $b$ 视为一个由固定输入 $+1$ 驱动的突触权重，这样就得到了感知机的等效信号流图。

感知机训练算法属于监督学习的范畴。在监督学习中，我们会为学习规则提供一组网络正确行为的示例，即 ${p_1, t_1}, {p_2, t_2}, \cdots, {p_q, t_q}$，其中 $p_i$ 是网络的输入，$t_i$ 是对应的目标输出。当每个输入应用到网络时，会将网络输出与目标输出进行比较，然后学习规则会调整网络的权重和偏置，使网络输出更接近目标输出。

二、测试问题：理解感知机学习规则的起点

为了更好地理解感知机学习规则，我们从一个简单的测试问题入手。测试问题的输入 - 目标对如下：
$p_1 = \begin{bmatrix}1\2\end{bmatrix}, t_1 = 1$；
$p_2 = \begin{bmatrix}-1\2\end{bmatrix}, t_2 = 0$；
$p_3 = \begin{bmatrix}0\-1\end{bmatrix}, t_3 = 0$。

这个问题可以通过图形直观展示，目标为 $0$ 的两个输入向量用空心圆表示，目标为 $1$ 的向量用实心圆表示。该问题相对简单，我们几乎可以通过观察得到解决方案，这有助于我们直观理解感知机学习规则的基本概念。