《统计学习方法》之最大熵模型代码实现

本文探讨在实现最大熵模型时遇到的困惑,包括如何表示特征函数f(x,y)以及如何理解GIS(梯度提升算法)。提出了通过训练数据集构建特征函数的方法,并推荐相关资源进行深入学习。" 130070486,13067879,算法竞赛策略:动态规划与图论应用解析,"['算法', '动态规划', '图论', '记忆化搜索']

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

    原理这里就不赘述了。见参考链接4
    说一些自己学习时困惑的地方,如果有不对的地方,还望各位评论指正。
    下面从w的求解开始说起,下面是模型的对数似然函数:
Ψ ( w ) = ∑ x , y P ~ ( x , y ) ∑ i = 1 n w i f i ( x , y ) − ∑ x P ~ ( x ) l o g Z w ( x ) \Psi (w)=\sum_{x,y} \tilde P(x,y)\sum_{i=1}^{n}w_if_i(x,y)-\sum_{x} \tilde P(x)logZ_w(x) Ψ(w)=x,yP~(x,y)i=1nwifi(x,y)xP~(x)logZw(x)

困惑1:怎么表示式子中特征函数的 f f f?

    书上说特征函数可描述输入x和输出y之间的某一事实,我预想的是构造一个特征函数列表,列表中每一个元素都是一个形如 f ( x , y ) f(x,y) f(x,y)的函数,例如我构造一个特征函数为x的第一个字母为大写y为1,则在列表中加入一个函数lambda x,y : x[0].isupper() and y == 1,每次需要计算 ∑ i = 1 n w i f i ( x , y ) \sum_{i=1}^{n}w_if_i(x,y) i=1nwi

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值