26、线性判别与多层感知机：原理、应用与训练

线性判别与多层感知机：原理、应用与训练

1. 线性判别问题求解

在机器学习的分类任务中，线性判别是一种常用的方法。对于单变量 $x$ 的分类问题，如果 $x \in (2, 4)$ 属于类别 $C_1$，而 $x < 2$ 或 $x > 4$ 属于类别 $C_2$，我们可以采用以下几种方式进行线性判别。

1.1 引入额外变量实现二次判别

我们定义一个额外变量 $z \equiv x^2$，然后在 $(z, x)$ 空间中使用线性判别式 $w_2z + w_1x + w_0$，这在 $x$ 空间中对应一个二次判别式。例如，我们可以手动设定分类规则：
- 若 $(x - 3)^2 - 1 \leq 0$，则选择类别 $C_1$；
- 否则，选择类别 $C_2$。

也可以使用 sigmoid 函数进行改写：
- 若 $\text{sigmoid}((x - 3)^2 - 1) \leq 0.5$，则选择类别 $C_1$；
- 否则，选择类别 $C_2$。

这种方法通过引入额外变量，将线性判别扩展到二次判别，从而能够处理更复杂的分类边界。

1.2 使用多个线性判别

我们还可以在 $x$ 空间中使用两个线性判别式，一个在 $x = 2$ 处进行划分，另一个在 $x = 4$ 处进行划分，然后将它们进行逻辑或运算。这种分层线性判别在后续的多层感知机中会有更深入的应用。

2. 多层感知机概述

多层感知机是一种人工神经网络结构，也是一种非参数估计器，可用于分类和回归任务。它的灵感来源于大脑的工作原理。