25、生成模型与单峰模型的深入解析

生成模型与单峰模型的深入解析

1. 生成模型相关练习

1.1 特征向量分类问题

在生成模型 $p(x, ω)$ 中，假设特征向量 $x$ 由两部分组成，即 $x = [x_g; x_b]$，其中 $x_b$ 表示因某些原因无法观测到的缺失部分。需要推导仅基于观测部分 $x_g$ 使用 $p(x_g, x_b, ω)$ 对任何输入 $x$ 进行分类的最优决策规则。

1.2 多类分布分类

假设在二维空间中有三个类别，其分布如下：
- 类别 $ω_1$：$p(x|ω_1) = N(0, I)$。
- 类别 $ω_2$：$p(x|ω_2) = N([1; 1], I)$。
- 类别 $ω_3$：$p(x|ω_3) = \frac{1}{2}N([0.5; 0.5], I) + \frac{1}{2}N([-0.5; 0.5], I)$。

这里，$N(µ, Σ)$ 表示具有均值向量 $µ$ 和协方差矩阵 $Σ$ 的二维高斯分布，$I$ 是单位矩阵。假设类别先验概率 $Pr(ω_i) = \frac{1}{3}$，$i = 1, 2, 3$。
- a. 基于 MAP 决策规则对特征 $x = [0.25; 0.25]$ 进行分类 ：
- 计算每个类别的后验概率 $Pr(ω_i|x)$，根据贝叶斯定理 $Pr(ω_i|x)=\frac{p(x|ω_i)Pr(ω_i)}{p(x)}$，由于在比较时 $p(x)$ 为常数，可直接比较 $p(x|ω_i)Pr(ω_i)$。
- 分别计算 $p(x|ω_1)Pr(ω_1)$、$p(x|ω_2)Pr(ω_2)$