35、线性判别分析与朴素贝叶斯分类器

线性判别分析与朴素贝叶斯分类器

1. 最近质心分类器

在假设类的先验均匀的情况下，我们可以按如下方式计算最可能的类标签：
[
\hat{y}(x) = \arg\max_{c} \log p(y = c|x, \theta) = \arg\min_{c} (x - \mu_c)^{\top}\Sigma^{-1}(x - \mu_c)
]
这被称为最近质心分类器，或最近类均值分类器（NCM），因为我们是将 $x$ 分配给具有最接近 $\mu_c$ 的类，这里的距离使用（平方）马氏距离来度量。

我们可以用任何其他距离度量来替换它，得到决策规则：
[
\hat{y}(x) = \arg\min_{c} d^2(x, \mu_c)
]

一种简单的距离度量方法是：
[
d^2(x, \mu_c) = ||x - \mu_c|| W^2 = (x - \mu_c)^{\top}(WW^{\top})(x - \mu_c) = ||W(x - \mu_c)||^2
]
相应的类后验概率为：
[
p(y = c|x, \mu, W) = \frac{\exp(-\frac{1}{2}||W(x - \mu_c)||_2^2)}{\sum {c’ = 1}^{C} \exp(-\frac{1}{2}||W(x - \mu_{c’})||_2^2)}
]

我们可以使用梯度下降法对判别损失进行优化，以得到 $W$。这被称为最近类均值度量学习，其优点是可用于新类的一次性学习，因为只要我们已经学习到一个好的 $W$，每个类只