36、统计模式识别与聚类方法解析

统计模式识别与聚类方法解析

1. 统计模式识别

1.1 线性支持向量机（SVM）

在统计模式识别中，我们可以通过定义矩阵 (A) 来将目标函数 (L) 写成矩阵形式。矩阵 (A) 的定义如下：
[A =
\begin{bmatrix}
y_i y_j \mathbf{x}_i^T \mathbf{x}_j
\end{bmatrix}
]
此时，目标函数 (L) 可以表示为：
[L = -\frac{1}{2} \boldsymbol{\alpha}^T A \boldsymbol{\alpha} + \mathbf{1}^T \boldsymbol{\alpha}]
其中，(\mathbf{1}) 是全为 1 的向量。

寻找使 (L) 最小化的拉格朗日乘子向量 (\boldsymbol{\alpha}) 是一个二次优化问题，有许多数值计算包可以完成此类操作。一旦得到拉格朗日乘子集合，就可以通过相应公式找到最优投影向量。

为求解 (b)，需要利用 Kuhn - Tucker 条件：
[\alpha_i(y_i(\mathbf{w}^T \mathbf{x}_i + b) - 1) = 0, \quad \forall i]
原则上，可以使用任意的 (i) 来求解 (b)，但在数值计算上，取平均值会更好。

需要注意的是，矩阵 (A) 的维度与训练集中样本的数量相同。因此，在构建 SVM 之前，如果不对训练集进行“过滤”，计算复杂度可能会很高。

1.2 非线性支持向量机

非线性支持向量机通过对实际样本