53、概率判别模型详解

概率判别模型详解

1. 指数族分布下的分类条件密度

在分类问题中，对于分类条件密度 (p(x|C_k))，当假设其为指数族分布的成员时，会得到一些特定的结果。对于指数族分布的成员，(x) 的分布可以写成如下形式：
[p(x|\lambda_k) = h(x)g(\lambda_k) \exp \left{\lambda_k^T u(x)\right}]
这里我们进一步限制关注 (u(x) = x) 的这类分布。然后引入一个缩放参数 (s)，这样就得到了受限的指数族分类条件密度集合，其形式为：
[p(x|\lambda_k, s) = \frac{1}{s}h\left(\frac{1}{s}x\right)g(\lambda_k) \exp \left{\frac{1}{s}\lambda_k^T x\right}]
需要注意的是，我们允许每个类别有自己的参数向量 (\lambda_k)，但假设所有类别共享相同的缩放参数 (s)。

2. 后验类别概率计算

• 两类问题 ：将上述分类条件密度表达式代入相关公式（4.58），可以发现后验类别概率由作用于线性函数 (a(x)) 的逻辑 sigmoid 函数给出，其中 (a(x)) 的表达式为：
  [a(x) = \frac{1}{s}(\lambda_1 - \lambda_2)^T x + \ln g(\lambda_1) - \ln g(\lambda_2) + \ln p(C_1) - \ln p(C_2)]
• K 类问题 ：把分类条件密度表达式代入（4.63），得到 (a