最大熵模型

logistic regression和最大熵模型都是对数线性模型，而对数线性模型属于广义线性模型。

最大熵模型属于运用最大熵原理的多分类模型。我们要清楚两件事：

1. 什么是最大熵原理
2. 最大熵模型如何运用最大熵原理

最大熵原理：
在满足约束条件的模型集合中选择熵最大的模型。

最大熵模型：
给定训练集$(x_1,y_1),(x_2,y_2),...,(x_n,y_n)$，我们要求解$p(y|x)$，需要确定它的形式以及参数。

• 考虑模型应该满足的条件
  有多少个特征函数就有多少个约束条件
  
• 在满足所有约束条件的模型集合中，选择条件熵最大的模型
  

最大熵模型的形式化表示：
这是一个约束最优化问题。

求解最大熵模型：
将约束最优化问题转换为无约束最优化的对偶问题，通过求解对偶问题求解原始问题。
第一步：求对偶问题里的最下化问题，得到$p(y|x)$的形式

第二步：将形式带入拉格朗日函数，求对偶问题外层的最大化问题，求出参数$w$

注意：
将$p(y|x)$的形式带入拉格朗日函数得到的结果，与直接求解$p(y|x)$关于训练样本的对数似然最大化是一样的。
即对偶函数的极大化等价于最大熵模型的极大似然估计。

最大熵模型的一般形式就是：

接下来可以通过对数极大似然估计求解参数。

最大熵模型可以特例化为logistic regression、softmax regression，具体来说， 在logistic regression中，特征函数可以理解为 当y=0时，对应n个为0的f(x,y); 当y=1时，对应$x_1,x_2,...x_n$， 即有n个f(x,y)，值分别是$x_1,x_2,...x_n$。softmax regression 则有n*k个特征函数，其中k是类别，n是样本维数。

扩展：
[4]
对于离散变量X, 当X是均匀分布的时候，熵最大；
对于连续变量X， 1）给定均值和方差，当X是高斯分布的时候，熵最大；2）给定区间[a, b], 当X是均匀分布的时候，熵最大； 3) 给定均值，当X是指数分布的时候，熵最大。

[1] https://www.jianshu.com/p/e7c13002440d
[2] 最大熵模型特例化为logistic regression https://www.zhihu.com/question/24094554/answer/108271031
[3] https://www.cnblogs.com/pinard/p/6093948.html
[4] https://www.cnblogs.com/hgl0417/p/6693656.html