13、统计推断与聚类方法详解

统计推断与聚类方法详解

1. 期望最大化（EM）算法

期望最大化（EM）算法是一种实用的迭代方法，用于寻找统计模型似然函数的（局部）最大值或后验分布的最大值。以下是该算法的详细步骤：
1. 期望步骤 ：利用条件概率计算条件期望对数似然函数 (Q(\theta|\theta_{k - 1}))，公式为：
[Q(\theta|\theta_{k - 1}) = \int_y f_{X|Y}(x|y, \theta_{k - 1})\log f_X(x|\theta)dx]
2. 最大化步骤 ：在 (\theta \in \Omega) 上最大化函数 (Q(\theta|\theta_{k - 1}))，找到 (\theta_k)：
[\theta_k = \arg \max_{\theta \in \Omega}(Q(\theta|\theta_{k - 1}))]
3. 退出条件 ：如果 (|\theta_k - \theta_{k - 1}| < \epsilon) 或 (|L(\theta_k) - L(\theta_{k - 1})| < \epsilon)（其中 (L(\theta)) 按特定公式定义，(\epsilon > 0)），则停止迭代；否则，返回步骤 1。

1.1 EM 算法示例

假设 (W) 是表示物品故障时间的非负随机变量，服从指数分布：
[f(w|\theta) = \frac{1}{\theta} e^{-\frac{w}{\theta}}]
其累积概率