计算对数似然函数改变量

已知最大熵模型为$$P_w(y|x)=\frac{1}{Z_w(x)}exp(\sum _{i=1}^n{w}_i{f}_i(x,y))$$其中，$$Z_w(x)=\sum _{y}exp(\sum _{i=1}^n{w}_i{f}_i(x,y))$$对数似然函数为$$L(w)=\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{w}_i{f}_i(x,y)-\sum _x\tilde{P}(x)\log Z_w(x)$$
推导过程：
对于给定的经验分布$\tilde{P}(x,y)$，模型参数从$w$到$w+\delta$，对数似然函数的改变量是$$L(w+\delta )-L(w)=\sum _{x,y}\tilde{P}(x,y)\log P_{w+\delta }(y|x)-\sum _{x,y}\tilde{P}(x,y)\log P_w(y|x)$$$$=\sum _{x,y}\tilde{P}(x,y)\log \left(\frac{1}{Z_{w+\delta }(x)}exp\right(\sum _{i=1}^n(w_i+{\delta }_i)f_i(x,y)\left)\right)-\sum _{x,y}\tilde{P}(x,y)\log \left(\frac{1}{Z_w(x)}exp\right(\sum _{i=1}^n{w}_i{f}_i(x,y)\left)\right)$$$$=\sum _{x,y}\tilde{P}(x,y)(\log \frac{1}{Z_{w+\delta }(x)}+\sum _{i=1}^n((w_i+{\delta }_i)f_i(x,y)))-\sum _{x,y}\tilde{P}(x,y)(\log \frac{1}{Z_w(x)}+\sum _{i=1}^n(w_i{f}_i(x,y)))$$$$=\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{\delta }_i{f}_i(x,y)-\sum _x\tilde{P}(x)\log \frac{Z_{w+\delta }(x)}{Z_w(x)}$$
参考：
《统计学习方法》，李航，p89