32、EM算法及其相关算法解析

EM算法及其相关算法解析

1. EM类算法概述

EM类算法可将某些引理不等式的解析证明扩展到其他有趣的最小化问题，部分算法具有与EM和NEMS算法相同的两个单调性属性，且证明似乎更简单。主要涉及的问题包括“正”最小二乘问题和最小交叉熵问题，核心思想是使用主化函数。

2. 最小交叉熵问题

在发射断层成像的背景下，考虑方程组 $Ax = b$（其中 $b$ 为非负向量），我们关注的最小化问题是：
[
\begin{align }
&\text{minimize } CE(x) \triangleq KL(Ax, b)\
&\text{subject to } x \in R^{\ell}, x \geq 0
\end{align }
]
这里“CE”代表交叉熵。为了得到一个满足类似EM算法“两个”单调性属性的好算法，我们定义算子 $R$ 作用于非负向量：
[
[Ry]_p = y_p \exp\left(\left[A^T \log \frac{b}{Ay}\right]_p\right), p = 1,2, \cdots, \ell
]
其中，$A^T \log \frac{Ay}{b} = A^T v$，且 $v_j = \log \frac{[Ay]_j}{b_j}$ 对所有 $j$ 成立。

有如下引理：
- 引理11 ：对于所有非负的 $x, y \in R^{\ell}$，有 $CE(x) \leq CE(y) + KL(x, Ry) - KL(y, Ry)