本文介绍了最大熵模型的基本原理，强调在面对未知变量时，最大熵模型倾向于采用最大熵（即均匀分布）作为最保守的选择。学习过程中通过最大似然估计来满足约束条件。利用拉格朗日乘数法求解，尽管求导后得到的函数是凸的，但直接求解w可能涉及鞍点问题。最大熵模型的求解方法包括梯度下降、牛顿法、拟牛顿法和IIS算法。作者探讨了模型学习与极大似然估计的关系，并提供了实现过程，包括特征函数的定义和计算w的改变量的IIS算法。
1.最大熵模型：对于未知变量，倾向于最大熵（均匀分布），因为这样最保险
2.学习时候进行最大似然估计
约束条件：也就是求出的条件分布尽量符合数据情况
3.求解的时候使用拉格朗日方法，
先求w才行，但是这个对于P是凸函数，就对P求导，
求导得到这样的式子：
最低0.47元/天 解锁文章
扫一扫
评论
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
添加红包
