10、统计学习分类方法介绍

统计学习分类方法介绍

在实际应用中，分类问题是机器学习和统计学习领域的核心问题之一。常见的分类方法有二次判别分析（QDA）、线性判别分析（LDA）、逻辑回归以及基于分离超平面的方法等。下面将对这些方法进行详细介绍。

1. QDA和LDA的性能表现

在实际应用中，QDA甚至LDA常常表现得非常出色，即便与更复杂的机器学习方法相比也是如此。尽管数据往往并非高斯分布（这是经典判别分析方法的基础），且协方差矩阵也并非完全相等。这是因为在许多应用中，样本量不足以处理比线性或二次决策边界更复杂的情况，而QDA/LDA能给出稳定的结果。具体来说，它们（尤其是参数较少的LDA）以较大的模型误设（偏差）为代价，换取了较小的变异性。对于较大的样本，更先进的支持向量机（保留了判别分析的一些思想）通常表现得更好。

2. 逻辑回归

逻辑回归是一种常用的分类方法，下面将详细介绍其模型、参数估计等内容。
- 模型定义 ：考虑逻辑模型，对于任意类别数 $M$ 和 $d$ 维权重向量 $b_1, \ldots, b_{M - 1}$，类别概率 $p_{\ell}(x)$ 的计算公式如下：
- 当 $\ell = 1, \ldots, M - 1$ 时，$p_{\ell}(x) = \frac{\exp(b_{0\ell} + \langle b_{\ell}, x\rangle)}{1 + \sum_{k = 1}^{M - 1} \exp(b_{0k} + \langle b_{k}, x\rangle)}$
- $p_M(x) = 1 - \sum_{k = 1}^{M - 1} p_{k}(x) = \frac{1}