2、模式识别算法与统计学习理论入门

模式识别算法与统计学习理论入门

1. 简单模式识别算法

在模式识别领域，我们可以从一个极为简单的算法入手来理解相关概念。该算法假设数据被嵌入到一个点积空间中，借助点积我们能够测量这个空间中的距离。其核心思想是将一个未见过的模式分配到均值更接近的类别中。

1.1 计算类别均值

首先，我们需要计算特征空间中两个类别的均值。设 $m_+$ 和 $m_-$ 分别是正标签和负标签的示例数量，且假定两个类别都非空，即 $m_+ + m_- > 0$。两个类别的均值计算公式如下：
- 正类均值：$c_+ = \frac{1}{m_+} \sum_{i:y_i = +1} x_i$ （式 1.7）
- 负类均值：$c_- = \frac{1}{m_-} \sum_{i:y_i = -1} x_i$ （式 1.8）

1.2 分类决策

对于一个新的点 $x$，我们将其分配到均值更接近的类别。这一几何构造可以通过点积来表示。在 $c_+$ 和 $c_-$ 的中间位置有一点 $c = \frac{(c_+ + c_-)}{2}$。我们通过检查连接 $c$ 到 $x$ 的向量 $x - c$ 与连接两个类别均值的向量 $w = c_+ - c_-$ 所夹的角度是否小于 $\frac{\pi}{2}$ 来计算 $x$ 的类别。由此得到分类决策公式：
$y = \text{sgn}[(x - c) \cdot w] = \text{sgn}[(x - \frac{(c_+ + c_-)}{2}) \cdot (c_+ - c_-)] = \text{sgn}(x \cdot c_+ - x \cdot c_- + b)$ （式