求助啊,李航的最大熵推导是怎么推的?

本文深入探讨了机器学习中损失函数的构成与求导过程,详细解析了L(P,w)函数针对P(y|x)的求导步骤,尤其关注于特定条件下的偏导数计算,为理解复杂模型的优化提供了关键洞见。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

L(P,w)≡−H(P)+w0(1−∑yP(y∣x))+∑i=1nwi(Ep‾(fi)−EP(fi))=∑x,yP~(x)P(y∣x)log⁡P(y∣x)+w0(1−∑yP(y∣x))+∑i=1nwi(∑x,yP~(x,y)fi(x,y)−∑x,yP~(x)P(y∣x)fi(x,y))\begin{aligned} L(P, w) & \equiv-H(P)+w_{0}\left(1-\sum_{y} P(y | x)\right)+\sum_{i=1}^{n} w_{i}\left(E_{\overline{p}}\left(f_{i}\right)-E_{P}\left(f_{i}\right)\right) \\=& {\color{red}\sum_{x, y} \tilde{P}(x) P(y | x) \log P(y | x) } +{\color{blue} w_{0}\left(1-\sum_{y} P(y | x)\right)} \\ &+\sum_{i=1}^{n} w_{i}\left(\sum_{x, y} \tilde{P}(x, y) f_{i}(x, y)-\sum_{x, y} \tilde{P}(x) P(y | x) f_{i}(x, y)\right) \end{aligned}L(P,w)=H(P)+w0(1yP(yx))+i=1nwi(Ep(fi)EP(fi))x,yP~(x)P(yx)logP(yx)+w0(1yP(yx))+i=1nwi(x,yP~(x,y)fi(x,y)x,yP~(x)P(yx)fi(x,y))

L(P,w)L(P, w)L(P,w)对P(y|x)求导 假如是对P(y1∣x1)P(y_1|x_1)P(y1x1)求导,如下

∂L(P,W)∂P(y1∣x1)=P~(x1)(logP(y1∣x1)+1)−w0+∑i=1nwi∑x,yP~(x)P(y∣x)fi(x,y)\frac{\partial L(P,W)}{\partial P(y_1|x_1)}={\color{red}\tilde {P}(x_1)(logP(y_1|x_1)+1)}{\color{blue}-w_0}+\sum_{i=1}^nw_i\sum_{x,y}\tilde P(x)P(y|x)f_i(x,y)P(y1x1)L(P,W)=P~(x1)(logP(y1x1)+1)w0+i=1nwix,yP~(x)P(yx)fi(x,y)

其中红色部分是因为只有x=x1,y=y1x=x_1,y=y_1x=x1,y=y1那一项才含有P(y1∣x1)P(y_1|x_1)P(y1x1)

应用∑xP~(x)=1\sum_x\tilde P(x)=1xP~(x)=1
=P~(x1)(logP(y1∣x1)+1)+∑xP~(x)w0+∑x,yP~(x)∑i=1nwiP(y∣x)fi(x,y)=\tilde{P}(x_1)(logP(y_1|x_1)+1) +\sum_x\tilde P(x)w_0+\sum_{x,y}\tilde P(x)\sum_{i=1}^nw_iP(y|x)f_i(x,y)=P~(x1)(logP(y1x1)+1)+xP~(x)w0+x,yP~(x)i=1nwiP(yx)fi(x,y)

问题是最后怎么推出
∑x,yP~(x)(log⁡P(y∣x)+1−w0−∑i=1nwifi(x,y))\sum_{x, y} \tilde{P}(x)\left(\log P(y | x)+1-w_{0}-\sum_{i=1}^{n} w_{i} f_{i}(x, y)\right)x,yP~(x)(logP(yx)+1w0i=1nwifi(x,y))
的???

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值