统计学习模型——最大熵模型

一、最大熵原理

• 在满足约束条件的模型集合中选取熵最大的模型。最大熵原理通过熵的最大化来表示等可能性

二、最大熵模型

2.1 模型基础

• 给定一个训练数据集 T = { ( x 1 , y 1 ) , ⋯   , ( x N , y N ) } T=\{(x_1,y_1),\cdots,(x_N,y_N)\} T={(x1​,y1​),⋯,(xN​,yN​)}学习基于最大熵原理的最优分类模型
• 用$\tilde{P}(X,Y),\tilde{P}(X)$表示联合分布$P(X,Y)$的经验分布和边缘分布$P(X)$的经验分布
• 用特征函数$f(x,y)$描述输入$x$和输出$y$之间的某一事实，即模型学习的约束条件
• 特征函数$f(x,y)$关于经验分布$\tilde{P}(X,Y)$的期望，用$E_{\tilde{P}}(f)$表示；关于联合分布$P(X,Y)$的期望，用$E_P(f)$表示

2.2 模型的学习过程

• 如果模型能够获取训练数据中的信息，则两个期望相等，即$$E_P(f_i)=E_{\tilde{P}}(f_i)，i=1,\cdots ,n$$$$\sum _{y}P(y|x)=1$$其中$\mathcal{C}$为满足约束条件的模型的集合
• 约束条件(熵最大)：$$\underset{P\in \mathcal{C}}{\max }-\sum _{x,y}\tilde{P}(x)P(y|x)logP(y|x)$$等价于$$\underset{P\in \mathcal{C}}{\min }\sum _{x,y}\tilde{P}(x)P(y|x)logP(y|x)$$

原始问题的解等价于对偶问题的解，即$$\underset{P\in \mathcal{C}}{\min }\underset{\omega }{\max }L(P,\omega )等价于\underset{\omega }{\max }\underset{P\in \mathcal{C}}{\min }L(P,\omega )$$

• 引进拉格朗日乘子${\omega }_0,{\omega }_1,\cdots ,{\omega }_n$，定义拉格朗日函数
  $$\begin{array}{rl}L(P,\omega )& =-H(P)+{\omega }_0(1-\sum _{y}P(y|x))+\sum _{i=1}^n{\omega }_i(E_{\tilde{P}}(f_i))-E_P(f_i))\\ & =\sum _{x,y}\tilde{P}(x)P(y|x)logP(y|x)+{\omega }_0(1-\sum _{y}P(y|x))\\ & +\sum _{i=1}^n{\omega }_i(\sum _{x,y}\tilde{P}(x,y)f_i(x,y)-\sum _{x,y}\tilde{P}(x)P(y|x)f_i(x,y))\end{array}$$

2.2.1 求解对偶问题内部的极小化问题$\underset{P\in \mathcal{C}}{\min }L(P,\omega )$

• 记$\psi (\omega )=\underset{P\in \mathcal{C}}{\min }L(P,\omega )=L(P_{\omega },\omega )$，将对应的解记为$P_{\omega }=P_{\omega }(y|x)$
• 已知：$\tilde{P}(x)>0$以及${\sum }_{y}P(y|x)=1$，再求$L(P,\omega )$对$P(y|x)$的偏导数，并令其等于0，可得：$$P_{\omega }(y|x)=\frac{1}{Z_{\omega }(x)}exp(\sum _{i=1}^n{\omega }_i{f}_i(x,y))$$其中$Z_{\omega }(x)={\sum }_{y}exp({\sum }_{i=1}^n{\omega }_i{f}_i(x,y))$，被称为规范化因子

2.2.2 求解对偶问题外部的极大化问题$\underset{\omega }{\max }\psi (\omega )$

对偶问题的极大化等价于最大熵模型的极大似然函数，即$$\psi (\omega )=L_{\tilde{P}}(P_{\omega })$$

• $L_{\tilde{P}}(P_{\omega })=log{\prod }_{x,y}P(y|x{)}^{\tilde{P}(x,y)}={\sum }_{x,y}\tilde{P}(x,y)log(x,y)$
• $\psi (\omega )={\sum }_{x,y}\tilde{P}(x)P_{\omega }(y|x)logP(y|x)$
  • 将两个约束条件${\sum }_{y}P(y|x)=1$以及$E_P(f_i)=E_{\tilde{P}}(f_i)，i=1,\cdots ,n$代入至$L(P,\omega )$中，即可得到上式的$\psi (\omega )$

因此，模型的学习就是给定条件下，模型进行极大似然估计

2.3 模型的最优化问题

• 改进的迭代尺度法
  
  
  参考：《统计学习方法》李航著