最大熵模型(MaxEnt):万法归宗(上)

本文探讨最大熵模型、多元逻辑回归和Softmax的关系,揭示它们在概率分布上的统一性。通过最大熵原理,阐述如何选择满足约束条件的概率模型,并以骰子为例解释最大熵原理。在分类任务中,最大熵模型是基于训练数据集和特征函数,寻找最佳条件概率分布。最后,介绍了最大化熵的最优化问题和拉格朗日乘数法的应用,为后续的数学推导奠定基础。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

引言:文献【1】中第88页,给出了最大熵模型的一般形式(其中的f为特征函数,后面我们还会讲到):


而文献【5】中我们从另外一种不同的角度也得出了多元逻辑回归的一般形式:


可见,尽管采用的方法不同,二者最终是殊途同归、万法归宗了。 所以我们说无论是多元逻辑回归,还是最大熵模型,又或者是Softmax,它们本质上都是统一的。本文就将从最大熵原理这个角度来推导上述最大熵模型的一般形式

评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

白马负金羁

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值