52、线性分类模型：概率生成模型详解

线性分类模型：概率生成模型详解

在机器学习的分类问题中，线性模型是一类非常重要且基础的模型。本文将深入探讨线性分类模型中的概率生成模型，包括相关概念、最大似然求解、离散特征处理以及指数族的相关内容。

1. 概率生成模型的基本概念

概率生成模型的核心在于通过对类条件密度 $p(x|C_k)$ 进行建模，进而确定参数值以及先验类概率 $p(C_k)$。我们先来看一个直观的例子，图 4.1 展示了三个类别的情况。

左图显示了三个类别各自具有高斯分布的类条件密度，分别用红色、绿色和蓝色表示，其中红色和绿色类别具有相同的协方差矩阵。右图则展示了相应的后验概率，RGB 颜色向量代表了三个类别的后验概率，同时也显示了决策边界。可以注意到，具有相同协方差矩阵的红色和绿色类别之间的边界是线性的，而其他类别对之间的边界是二次的。

2. 最大似然求解

当我们指定了类条件密度 $p(x|C_k)$ 的参数化函数形式后，就可以使用最大似然法来确定参数值和先验类概率。下面我们分情况进行讨论。

2.1 两类情况

考虑有两个类别，每个类别都具有高斯类条件密度且共享协方差矩阵的情况。假设我们有一个数据集 ${x_n, t_n}$，其中 $n = 1, \cdots, N$，$t_n = 1$ 表示类别 $C_1$，$t_n = 0$ 表示类别 $C_2$。我们用 $\pi$ 表示先验类概率 $p(C_1)$，则 $p(C_2) = 1 - \pi$。

对于来自类别 $C_1$ 的数据点