机器学习—最大熵模型_改进迭代尺度法IIS_python实现

代码及数据集下载Max Entropy

最大熵原理

最大熵原理是概率学习模型的一个准则。最大熵原理认为，学习概率模型时，在所有可能的概率模型中，上最大的模型是最好的模型，保留了最大的不确定性，从投资角度讲就是风险最小，将鸡蛋放在多个篮子里。通常用约束条件来确定概率模型的集合，因此，最大熵原理可以表述为在满足约束条件的模型集合中选取熵最大的模型。
假设离散随机变量X的概率分布为P(X)，则其熵为

$$H(P) = -\sum_xP(x)logP(x)$$

特征函数

$f(x,y)$描述输入x与输出y之间的某一个事实。

$$f(x,y)=\left\{ {\begin{array}{*{20}{c}} {1,x与y满足一个事实} \\ {0, \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ 否则} \end{array}} \right.$$

通常实现时将一个样本 $x=[x_1,x_2,x_3]$拆分为 $f(x_1,y),f(x_2,y),f(x_3,y)$。

---

最大熵模型

最大熵模型是利用最大熵原理得到分类模型。
对于给定数据集

$$T=\{ (x_1,y_1),(x_2,y_2),...,(x_N,y_N) \}$$
根据训练数据集，可以确定联合分布 $P(X,Y)$的经验分布，与边缘分布 $P(X)$的经验分布，分别表示如下