47、线性分类模型：原理、方法与挑战

线性分类模型：原理、方法与挑战

1. 多类线性判别决策区域特性

在多类线性判别中，决策区域有着独特的性质。如图所示，当两个点 (x_A) 和 (x_B) 都位于同一个决策区域 (R_k) 内时，连接这两点的直线上的任意点 (b_x) 也必定位于 (R_k) 内。这表明决策区域是单连通且凸的。

从判别函数的线性性质可知：
[y_k(b_x) = \lambda y_k(x_A) + (1 - \lambda) y_k(x_B) \quad (4.12)]
其中 (0 \leq \lambda \leq 1)。因为 (x_A) 和 (x_B) 都在 (R_k) 内，所以对于所有 (j \neq k)，有 (y_k(x_A) > y_j(x_A)) 且 (y_k(x_B) > y_j(x_B))。由此可推出 (y_k(b_x) > y_j(b_x))，进而说明 (b_x) 也在 (R_k) 内，从而证明了 (R_k) 的单连通和凸性。

对于两类问题，我们有两种选择。一种是采用基于两个判别函数 (y_1(x)) 和 (y_2(x)) 的形式；另一种是使用基于单个判别函数 (y(x)) 的更简单但等价的表述。

接下来，我们将探索三种学习线性判别函数参数的方法，分别是基于最小二乘法、Fisher 线性判别和感知机算法。

2. 最小二乘法用于分类

在之前的讨论中，我们考虑过参数的线性函数模型，并且知道最小化平方误差函数可以得到参数值的简单闭式解。那么，我们自然会想是否可以将同样的形式应用到分类问题中。

2.1 基本思路

考虑一个具有 (K) 类的一般