11、统计学习：最大似然估计、贝叶斯推理与图形模型

统计学习：最大似然估计、贝叶斯推理与图形模型

在机器学习领域，统计学习是一个至关重要的组成部分，它与统计学有着千丝万缕的联系。统计学家在基于数据样本的推理过程方面积累了丰富的专业知识，这些方法在当前的机器学习方法中变得至关重要。本文将深入探讨统计学习中的几个关键概念，包括最大似然估计、贝叶斯推理、贝叶斯学习以及图形模型。

最大似然估计

最大似然估计（Maximum Likelihood Estimation, MLE）是一种常用的参数估计方法。给定一个由概率密度 $p_X(\theta, x)$ 定义的参数统计模型，其似然函数 $L_x(\theta)$ 定义为：
[L_x(\theta) = \pi_{\theta}(x) := p_X(x, \theta)]
这里，数据 $x$ 和参数 $\theta$ 的角色互换。概率密度 $\pi_{\theta}$ 是关于 $x$ 的函数（$\theta$ 固定），而似然函数 $L_x$ 则依赖于 $\theta$。似然函数 $L_x(\theta)$ 表示 $x$ 由具有参数 $\theta$ 的潜在概率分布解释的可能性。

更一般地，如果 $h$ 是任意正函数，那么：
[L_x(\theta) = h(x)\pi_{\theta}(x)]
是与统计模型 $\pi_{\theta}$ 相关的广义似然函数。最大似然方法使用使似然函数 $L_x$ 最大化的点 $\hat{\theta} x$ 作为未知真实参数值的估计器，即：
[\theta^{\star} = \arg \max {\theta} L_x(\theta)]

通常，为了计算方便，我们使