最大熵模型以及拉格朗日对偶性

前言

最大熵模型(maximu entropy model)是多类分类方法，属于判别模型。

最大熵原理

最大熵模型是由最大熵原理推导实现。最大熵原理是概率模型学习的一个准则，它认为在满足所有约束条件下，把不确定部分当作等可能的概率模型中，熵最大的模型是最好的模型。

不确定部分等可能是因为我们没有更多的信息，对于不确定的地方我们不清楚不了解，那么公平起见，都是等可能性的吧。
举个例子：给你一个骰子，没有任何其他信息我们认为每个面的概率都是等可能的1/6。

模型

首先提取能拟合模型且对选择模型有用信息（考虑模型应该满足的条件）。
为了能学习到一个条件概率分布的分类模型，我们首先需要计算P(X,Y)经验分布（从抽样样本中得到的信息）和P(X)边缘分布。(这是一个有用的信息)
观察完了样本得到经验分布以及边缘分布，我们可以定义一个特征函数：（这又是一个有用的信息）

为什么我们需要这个特征函数？
因为它描述了一个x与y之间的事实，这个事实是我们形成约束条件的重要信息，有n个特征函数就会有n个约束条件。

在这个经验分布中，f(x,y)的期望是多少？