58、基于线性规划训练的最大后验核分类器

基于线性规划训练的最大后验核分类器

1. 引言

在分类问题中，基于最大后验概率（MAP）设计分类器依赖于后验概率的可用信息。若缺乏后验概率信息，根据贝叶斯定理，先验概率和似然信息则至关重要。然而，后验概率和似然都难以直接从数据中确定，一些基于 MAP 的方法还需要其他参数，如每个类别的均值向量和协方差矩阵。不过，存在估计后验概率的方法，特别是神经网络可用于估计后验概率。

有研究探讨了设计用于估计后验概率的代价函数问题，任何能提供后验类概率的代价函数被称为严格意义贝叶斯（SSB）代价函数。但 SSB 代价函数是非线性的，需用非线性优化方法求解，不能使用线性规划。

本文提出一种基于最大后验估计的新分类方法，不直接估计后验概率 $P(y|x)$，而是估计一个核化函数 $w(x, y)$，它能提供与 MAP 分类器相同的结果。该方法的代价函数可直接用线性规划进行优化。为评估该方法的性能，使用了 13 个数据集进行二分类实验，并与其他知名方法进行比较。

2. 最大后验（MAP）估计

• 概率公式 ：设 $y$ 是要从数据 $x$ 中估计的类别，$P(x)$、$P(y)$、$P(x|y)$ 和 $P(y|x)$ 分别表示 $x$ 的先验概率密度函数、$y$ 的先验概率、给定 $y$ 时 $x$ 的条件概率密度函数以及 $y$ 的后验概率。由 $x$ 和 $y$ 的联合概率可推导出贝叶斯定理：
  [P(x, y) = P(x|y)P(y) = P(y|x)P(x)]
• 期望公式 ：函数 $f(x)$ 在数据 $x$ 中的期望值可表示为：