10、感知机学习与激活函数详解

感知机学习与激活函数详解

1. 感知机学习步骤与收敛性

感知机学习是一种基础的二分类算法，其步骤如下：
1. 处理当前数据点。
2. 若数据点分类错误，更新权重向量。
3. 转到步骤 2 处理下一个数据点（Step 4）。
4. 当所有数据点都被正确分类时停止（Step 5）。

感知机能够正确分类两类数据的前提是存在一个可行的权重向量 w，它可以线性地分离这两类数据。在这种情况下，感知机收敛定理保证算法会收敛。

2. 感知机学习的几何解释

在输入特征向量空间中，权重向量决定了一个超平面。为了正确分类数据点，确定可行的权重向量集时，我们需要将单个输入向量视为权重空间中超平面的代表。满足所有数据点的权重向量集是多个阴影区域的重叠部分，该重叠区域内的任何权重向量都能通过其在输入向量空间中定义的超平面线性分离数据点。

3. 感知机学习的局限性

感知机学习规则只能分离在输入空间中线性可分的类别。以基本的异或（XOR）门逻辑为例，感知机学习规则无法实现该逻辑。异或逻辑的输入和输出标签如下：
| (x_1) | (x_2) | (y) |
| ---- | ---- | ---- |
| 1 | 0 | 1 |
| 0 | 1 | 1 |
| 1 | 1 | 0 |
| 0 | 0 | 0 |

我们初始化权重向量 (w \to [0\ 0\ 0]^T)，其中权重向量的第一个分量对应偏置项，所有输入向量的第一个分量也为 1。下面是对每个数据点的处理过程：
- 对于 (x_1 = 1)，(x_2 = 0