23、机器学习中的参数估计与概率建模

机器学习中的参数估计与概率建模

1. 引言

在机器学习中，参数估计和概率建模是非常重要的概念。参数估计帮助我们找到合适的模型参数，使模型能够更好地拟合数据；而概率建模则为我们提供了一种处理数据不确定性的方法。接下来，我们将深入探讨这些概念。

2. 参数估计

2.1 最大似然估计（MLE）

最大似然估计的核心思想是定义一个关于参数的函数，通过这个函数找到最适合数据的模型。对于由随机变量 $x$ 表示的数据和由 $\theta$ 参数化的概率密度族 $p(x | \theta)$，负对数似然函数定义为：
$L_x(\theta) = -\log p(x | \theta)$
通常，当数据的随机变量表示明确时，我们会省略对 $x$ 的引用，将其写为 $L(\theta)$。

在监督学习中，我们有数据对 $(x_1, y_1), \ldots, (x_N, y_N)$，我们希望构建一个预测器，输入特征向量 $x_n$ 并产生预测值 $y_n$。例如，我们可以假设标签的条件概率是高斯分布，即：
$p(y_n | x_n, \theta) = N(y_n | x_n^{\top} \theta, \sigma^2)$
假设数据是独立同分布的（i.i.d.），那么整个数据集的似然函数可以分解为每个样本似然函数的乘积：
$p(Y | X, \theta) = \prod_{n=1}^{N} p(y_n | x_n, \theta)$
为了便于优化，我们通常考虑负对数似然函数：
$L(\theta) = -\log p(Y | X, \theta) = -\sum_{n=1}^{N