9、统计学习中的线性分类方法与判别分析

统计学习中的线性分类方法与判别分析

在统计学习领域，分类问题是一个核心研究方向。线性分类方法作为经典的分类手段，是许多流行统计学习方法的基础，如支持向量机就依赖于线性判别分析。接下来，我们将深入探讨线性分类方法及其相关的判别分析技术。

1. 高维输入下的单调性处理

在处理 $d$ 维输入时，专家知识可能仅要求函数 $F(x)$ 相对于某一个输入坐标（例如第一个坐标）具有单调性。在这种情况下，处理步骤如下：
- 步骤 1 ：像无约束高斯过程回归（GPR）一样，在 $d$ 维空间中生成高斯过程。
- 步骤 2 ：对于其他坐标的所有固定值，分别仅针对第一个坐标应用保序回归算法（PAVA）。为了获得足够的函数值，通常建议在等距网格上考虑这些值，以便应用 PAVA。

如果要求函数 $F(x)$ 相对于所有或至少多个输入坐标具有单调性，则需要应用迭代版本的逐坐标 PAVA。具体操作流程如下：
1. 首先对第一个坐标应用 PAVA，得到在该坐标上单调的函数值。
2. 然后对这个函数针对第二个坐标应用 PAVA，依此类推。通常需要对坐标进行多次遍历。

2. 线性分类基础

我们主要关注基于独立同分布训练数据 $(X_j, Y_j)$（$j = 1, \cdots, N$）的分类问题，其中 $X_j$ 是 $d$ 维特征向量，$Y_j \in {1, \cdots, M}$ 是类别标签。给定预测变量 $X_j$，类别概率为 $p_{\ell}(x) = pr{Y_j = \ell|X_j = x}$，其中 $\ell = 1, \cdots,