最大熵模型相关知识

预备知识

熵

离散型变量X的概率分布是P(X)。它的熵$H(X)orH(P)$越大，代表越均匀、越混乱、越不确定。熵的公式如下：
$$H(P)=-\sum _{x\in X}P(x)\log P(x)$$
当X服从均匀分布时，熵最大。

联合熵

熟悉了一个变量X的熵，很容易推广到多个个变量的联合熵，这里给出两个变量X和Y的联合熵表达式：
$$H(X,Y)=-\sum _{i=1}^{n}p(x_i,y_i)logp(x_i,y_i)$$

条件熵

有了联合熵，又可以得到条件熵的表达式H(Y|X)，条件熵类似于条件概率,它度量了我们的Y在知道X以后剩下的不确定性。表达式如下：
$$H(Y|X)=\sum _{j=1}^{n}p(x_j)H(Y|x_j)=-\sum _{i=1}^{n}p(x_i,y_i)logp(y_i|x_i)$$

最大熵的原理

最大熵原理认为，学习概率模型时，在所有可能的概率模型中，熵最大的模型是最好的模型。

假如某个事件包含两个部分：确定的部分（约束条件）和不确定的部分。选择模型时需要：

1. 要满足所有的约束条件，即满足已有的确定的事实

2. 均分不确定的部分

举个例子：X有5个取值$A,B,C,D,E$，取值概率分别为$P(A),P(B),P(C),P(D),P(E)$。满足以下约束条件：
$$P(A)+P(B)+P(C)+P(D)+P(E)=1$$
满足这个条件的模型有很多。但是如果再加一个约束条件：
$$P(A)+P(B)=\frac{3}{10}$$
则，满足约束条件的情况下，不确定的部分的概率平分（条件熵最大）：这样的模型是最好的模型：
$$P(A)=P(B)=\frac{3}{20},P(C)=P(D)=P(E)=\frac{7}{30}$$
**条件熵最大意味着：在给定了约束条件情况下，剩余事件的概率最均衡，因此模型最好。**于是可以得出，最大熵模型就是要：满足约束条件，并且使得“条件熵”最大。

最大熵模型

给定一个训练集$(x^{(1)},y^{(1)}),(x^{(2)},y^{(2)}),...，(x^{(m)},y^{(m)})$，其中x为n维特征向量，y为类别输出。我们的目标就是用最大熵模型选择一个最好的分类类型。

在给定训练集的情况下，我们可以得到总体联合分布$P(X,Y)$的经验分布$\tilde{P}(X,Y)$和边缘分布$P(X)$的经验分布$\tilde{P}(X)$。$\tilde{P}(X,Y)$即为训练集中X，Y同时出现的次数除以样本总数m，$\tilde{P}(X)$即为训练集中X出现的次数除以样本总数m。

用特征函数$f(x,y)$描述输入x和输出y之间的关系。定义为：
$$f(x,y)=\{\begin{array}{ll}1& x与y满足某个关系\\ 0& 否则\end{array}$$
同一个训练样本可以有多个约束特征函数。

一、约束条件

特征函数$f(x,y)$关于经验分布$\tilde{P}(X,Y)$的期望值，表示为:
$$E_{\tilde{P}}(f)=\sum _{x,y}\tilde{P}(x,y)f(x,y)$$
由于特征函数是个二值函数，因此期望$E_{\tilde{P}}(f)$可以理解为：所有满足x与y某个关系$f$的样本对经验分布$\tilde{P}(X,Y)$的计数并求和。

特征函数$f(x,y)$关于条件分布$P(Y|X)$和经验分布$\tilde{P}(X)$的期望值，用$E_P(f)$表示为:
$$E_P(f)=\sum _{x,y}\tilde{P}(x)P(y|x)f(x,y)$$
如果抽取到的样本具有足够的代表性，那么我们可以认为:
$$\tilde{P}(x,y)=\tilde{P}(x)P(y|x)$$
进而可以假设上面的两个期望值相等：
$$E_{\tilde{P}}(f)=E_P(f)$$
上式就是最大熵模型学习的约束条件，假如我们有N个特征函数$f_i(x,y)(i=1,2...,N)$就有N个约束条件。可以理解为我们如果训练集里有m个样本，就有和这m个样本对应的N个约束条件。于是有约束条件如下：
$$E_{\tilde{P}}(f_i)=E_P(f_i)(i=1,2,...N)$$

二、条件熵最大

最大熵模型假设分类模型是一个条件概率分布P(Y|X)，X为特征，Y为输出。条件熵衡量了条件概率分布的均匀性，给定某个约束条件的情况下，当不确定事件的概率都相同的时候条件熵最大。于是条件熵是最大熵原理提出的基础，最大的是条件熵。

定义在条件概率分布$P(Y|X)$上的条件熵为：
$$\begin{array}{rl}H(P)& =-\sum _{x,y}P(x,y)logP(y|x)\\ & =-\sum _{x,y}\tilde{P}(x)P(y|x)logP(y|x)\end{array}$$
我们的目标是得到使$H(P)$最大的时候对应的$P(y|x)$，这里可以对$H(P)$加了个负号求极小值，这样做的目的是为了使$-H(P)$为凸函数，方便使用凸优化的方法来求极值。

最大熵模型的推导

最大熵模型的学习可以形式化为约束最优化问题：
$$\underset{P\in \mathcal{C}}{\min }-H(P)=\sum _{x,y}\tilde{P}(x)P(y|x)\log P(y|x)$$
约束条件为：
$$\begin{gathered} s.t.\sum _{y}P(y|x)=1 \\ {E}_P(f_i)-E_{\tilde{P}}(f_i)=0,i=1,2,\dots ,n \end{gathered}$$
上面的问题可以用拉格朗日函数将其转化为无约束优化函数，此时损失函数对应的拉格朗日函数$L(P,w)$定义为：
$$L(P,w)=-H(P)+w_0(1-\sum _{y}P(y|x))+\sum _{i=1}^M{w}_i(E_{\tilde{P}}(f_i)-E_P(f_i))$$
其中$w_i(i=1,2,...m)$为拉格朗日乘子。我们的拉格朗日函数$L(P,w)$，即为凸优化的原始问题：$\underset{P\in C}{\min }\underset{w}{\max }L(P,w)$，对偶问题为：
$$\underset{w}{\max }\underset{P\in C}{\min }L(P,w)$$

求极小

求解对偶问题的第一步就是求$\underset{P\in C}{\min }L(P,w)$:
$$\Psi (w)=\underset{P\in C}{\min }L(P,w)$$
上面的$\Psi (w)$即为对偶函数。具体而言，要求$L(P,w)$关于$P(y\mid x)$的偏导数：
$$\begin{array}{rl}\frac{\partial L(P,w)}{\partial P(y|x)}& =\sum _{x,y}\tilde{P}(x)(logP(y|x)+1)-\sum _y{w}_0-\sum _{x,y}(\tilde{P}(x)\sum _{i=1}^M{w}_i{f}_i(x,y))\\ & =\sum _{x,y}\tilde{P}(x)(logP(y|x)+1-w_0-\sum _{i=1}^M{w}_i{f}_i(x,y))\end{array}$$
令上式等于0，可以得到：
$$P(y|x)=exp(\sum _{i=1}^M{w}_i{f}_i(x,y)+w_0-1)=\frac{exp(\sum _{i=1}^M{w}_i{f}_i(x,y))}{exp(1-w_0)}$$
又因为对$P(y|x)$而言，有$\sum {}_{y}P(y|x)=1$，则可以把上面式子的分母替换为归一化因子$Z_w$，于是得到了最大熵模型：
$$\begin{gathered} P_w(y|x)=\frac{1}{Z_w(x)}\exp \sum _{i=1}^M{w}_i{f}_i(x,y) \\ {Z}_w(x)=\sum _y\exp \sum _{i=1}^M{w}_i{f}_i(x,y)\text{\hspace{1em}(1)} \end{gathered}$$
式子中$P_w(y|x)$的角标w意味着是关于w的表达式。从而可以把对偶函数$\psi (w)$里面的所有的$P(y|x)$替换成用w表示的形式，这样对偶函数$\psi (w)$就是全部用w表示了：
$$\Psi (w)=\underset{P\in C}{\min }L(P,w)=L(P_w,w)$$
具体的，将$P_w(y|x)$结果带入$\psi (w)$ 得：
$$\begin{array}{rl}\psi (w)& =\sum _{x,y}\tilde{P}(x)P(y|x)\log P(y|x)+w_0(1-\sum _{y}P(y|x))+\sum _{i=1}^M{w}_i(E_{\tilde{P}}(f_i)-E_P(f_i))\\ & =\sum _{x,y}\tilde{P}(x)P(y|x)\log P(y|x)+\sum _{i=1}^M{w}_i(\sum _{x,y}\tilde{P}(x,y)f_i(x,y)-\sum _{x,y}\tilde{P}(x)P(y|x)f_i(x,y))\\ & =\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^M{w}_i{f}_i(x,y)+\sum _{x,y}\tilde{P}(x)P(y|x)\left(\log P(y|x)-\sum _{i=1}^M{w}_i{f}_i(x,y)\right)\\ & =\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^M{w}_i{f}_i(x,y)+\sum _{x,y}\tilde{P}(x)P(y|x)\left(\sum _{i=1}^M{w}_i{f}_i(x,y)-\log Z(x)-\sum _{i=1}^M{w}_i{f}_i(x,y)\right)\\ & =\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^M{w}_i{f}_i(x,y)-\sum _{x,y}\tilde{P}(x)P(y|x)\log Z(x)\\ & =\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{w}_i{f}_i(x,y)-\sum _x\tilde{P}(x)\log (Z_w(x))\sum _{y}P(y|x)\\ & =\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{w}_i{f}_i(x,y)-\sum _x\tilde{P}(x)\log (Z_w(x))\end{array}$$
最后一步用到 $\sum _{y}P(y|x)=1$ 。

从极大似然估计角度理解

实际上，对偶函数$\psi (w)$的极大化等价于最大熵模型的极大似然估计。

已知经验概率分布$\tilde{P}(X,Y)$，条件概率P(Y|X)的对数似然函数为：
$$L_{\tilde{P}}(P_w)=\sum _{x,y}\tilde{P}(x,y)log(y|x)$$
将上面求得的$P_w(y|x)$代入得到：
$$\begin{array}{rl}{L}_{\tilde{P}}(P_w)& =\sum _{x,y}\tilde{P}(x,y)\log P(y|x)\\ & =\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{w}_i{f}_i(x,y)-\sum _{x,y}\tilde{P}(x,y)\log (Z_w(x))\\ & =\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{w}_i{f}_i(x,y)-\sum _{x,y}\tilde{P}(x)P(y|x)\log (Z_w(x))\\ & =\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{w}_i{f}_i(x,y)-\sum _x\tilde{P}(x)\log (Z_w(x))\sum _{y}P(y|x)\\ & =\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{w}_i{f}_i(x,y)-\sum _x\tilde{P}(x)\log (Z_w(x))\end{array}$$
最后一步的推导用到了$\sum _{y}P(y|x)=1$。

拟牛顿法最大熵模型参数学习

上一节我们完成了求极小的过程，现在我们来完成求极大的过程。

对于最大熵模型而言，
$$P_w(y|x)=\frac{\exp \sum _{i=1}^M{w}_i{f}_i(x,y)}{{\sum }_y\exp {\sum }_{i=1}^M{w}_i{f}_i(x,y)}$$
第二步骤要求：
$$\underset{w}{\max }\Psi (w)$$
目标函数$L_{\tilde{P}}(P_w)$转换成求极小后式子为：
$$\underset{w\in R^n}{\min }f(w)=\underset{w\in R^n}{\min }-\psi (w)=\sum _x\tilde{P}(x)\log (\sum _y\exp \sum _{i=1}^M{w}_i{f}_i(x,y))-\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{w}_i{f}_i(x,y)$$
梯度为：
$$g(w)=\left(\frac{\partial f(w)}{\partial w_1},\frac{\partial f(w)}{\partial w_2},...,\frac{\partial f(w)}{\partial w_n}\right)$$
其中：
$$\frac{\partial f(w)}{\partial w_i}=\sum _{x,y}\tilde{P}(x)p_w(y|x)f_i(x,y)-E_{\tilde{P}}(f_i),i=1,2,...,m$$
相应的拟牛顿法BFGS算法如下：

输入：特征函数 $f_i,f_2,\cdots ,f_n$；经验分布 $\tilde{P}(X,Y)$，目标函数 $f(w)$，梯度 $g(w) $，精度要求 $ϵ$；

输出：最优参数$\hat{w}$ ; 最优模型$P_w(y|x)$ 。

（1）选定初始点$w^{(0)}$ 取 ${\mathbf{B}}_0$ 为正定对称矩阵，$k=0$。

（2）计算$g_k=g(w^{(k)})$ 。若$g_k=0$ 则停止计算，否则转(3)。

（3）由$B_k{p}_k=-g_k$ 求出$p_k$

（4）一维搜索：求${\lambda }_k$ 使得：
$$f(w^{(k)}+{\lambda }_k{p}_k)=\underset{\lambda \ge 0}{\min }f(w^{(k)}+\lambda p_k)$$
（5）置 $w^{(k+1)}=w^{(k)}+{\lambda }_k{p}_k$

（6）计算 $g_{k+1}=g(w^{(k+1)})$ ，若$g_{k+1}=0$ ，则停止计算，否则，按下式更新$B_{k+1}$:
$${\mathbf{B}}_{k+1}={\mathbf{B}}_k+\frac{y_k{y}_k^T}{y_k^T{\delta }_k}-\frac{{\mathbf{B}}_k{\delta }_k{\delta }_k^T{\mathbf{B}}_k}{{\delta }_k^T{\mathbf{B}}_k{\delta }_k}$$
其中：
$$y_k=g_{k+1}-g_k,{\delta }_k=w^{(k+1)}-w^k$$
（7）置 $k=k+1$ , 转(3)

参考文章：

《统计学习方法 第二版》

最大熵模型

详解机器学习中的熵、条件熵、相对熵和交叉熵

最大熵模型原理小结