17、逻辑回归与最大熵模型：原理、优化与实现

逻辑回归与最大熵模型：原理、优化与实现

1. 最大似然估计与最大熵模型

最大熵模型是一种条件概率分布，其学习过程涉及到最大似然估计。给定训练数据的经验概率分布 $\tilde{P}(X,Y)$，条件概率分布 $P(Y|X)$ 的对数似然函数可以表示为：
[
L_{\tilde{P}}(P_w) = \log \prod_{x,y} P(y|x)^{\tilde{P}(x,y)} = \sum_{x,y} \tilde{P}(x,y) \log P(y|x)
]
当条件概率分布 $P(Y|X)$ 为最大熵模型时，对数似然函数为：
[
\begin{align }
L_{\tilde{P}}(P_w) &= \sum_{x,y} \tilde{P}(x,y) \log P(y|x)\
&= \sum_{x,y} \tilde{P}(x,y) \sum_{i=1}^{n} w_i f_i(x,y) - \sum_{x,y} \tilde{P}(x,y) \log Z_w(x)\
&= \sum_{x,y} \tilde{P}(x,y) \sum_{i=1}^{n} w_i f_i(x,y) - \sum_{x} \tilde{P}(x) \log Z_w(x)
\end{align }
]
其中，$Z_w(x) = \sum_{y} \exp(\sum_{i=1}^{n} w_i f_i(x,y))$。

再看对偶函数 $\Psi(w)$，它可以通过相关公式得到。经过比较可以发现，对偶函数 $\Psi(w)$ 与对数似然函数 $L_{\tild